[논문 리뷰] Speak, Memory: An Archaeology of Books Known to ChatGPT/GPT-4

Kent K. Chang, Mackenzie Hạnh Cramer외 2명|arXiv (Cornell University)|2023. 04. 28.

Topic Modeling인용 수 17

한 줄 요약

이 논문은 이름 클로즈(Name Cloze) 멤버십 추정을 사용하여 ChatGPT와 GPT-4가 암기한 책을 탐지하고, 암기가 웹 빈도와 다운스트림 작업에 편향을 초래한다는 것을 보여주며, 검증 가능성을 보장하기 위해 교육 데이터가 알려진 오픈 모델의 필요성을 주장한다.

ABSTRACT

In this work, we carry out a data archaeology to infer books that are known to ChatGPT and GPT-4 using a name cloze membership inference query. We find that OpenAI models have memorized a wide collection of copyrighted materials, and that the degree of memorization is tied to the frequency with which passages of those books appear on the web. The ability of these models to memorize an unknown set of books complicates assessments of measurement validity for cultural analytics by contaminating test data; we show that models perform much better on memorized books than on non-memorized books for downstream tasks. We argue that this supports a case for open models whose training data is known.

연구 동기 및 목표

• 대형 언어 모델이 어떤 책을 암기하는지, 그리고 문화 분석에서 암기가 왜 중요한지 연구의 동기를 부여한다.
• GPT-4 및 ChatGPT의 출력에서 암기된 책을 추정하기 위한 데이터 세트와 작업(이름 클로즈)을 개발한다.
• 암기가 웹 보급도와의 상관관계를 정량화하고 그것이 다운스트림 작업에 어떻게 영향을 미치는지 분석한다.
• 모델 보조 문학 분석의 타당성과 재현성을 개선하기 위해 공개 학습 데이터의 필요성을 옹호한다.

제안 방법

• 40–60 토큰 구절에서 다른 명명된 엔티티가 없는 단일 토큰 고유명사를 예측하는 엄격한 이름 클로즈 작업을 제시한다.
• 다섯 가지 출처(LitBank, Pulitzer 후보작, 베스트셀러, 흑인 작가, Global Anglophone, 장르)에서 571편의 소설 작품으로 평가 데이터를 구성한다.
• BookNLP를 사용해 책당 100개 구절을 추출하고 XML 형식으로 단일 이름을 이끌어내는 고정 프롬프트를 적용한다.
• 프롬프트를 ChatGPT(gpt-3.5-turbo)와 GPT-4를 통해 실행하고, 책별 이름 클로즈 정확도를 기록한다.
• BERT와의 기준선 비교를 수행하고 오답 분석 및 웹 보급도(Google/Bing/C4/Pile)와의 상관관계를 통해 암 memorization를 분석한다.
• 첫 출간 연도 예측 및 구절의 서사 시간 추정과 같은 다운스트림 영향력을 평가하고, 상위 암기 도서와 하위 암기 도서 간 차이를 비교한다.

실험 결과

연구 질문

• RQ1 OpenAI 모델(GPT-4 및 ChatGPT)이 이름 클로즈 작업으로 측정한 대로 어떤 책을 암기하는가?
• RQ2 암기가 책 범주와 웹에서의 인기 여부에 따라 어떻게 달라지는가?
• RQ3 책의 암기가 작품의 연대 추정이나 서사 시간 추정과 같은 다운스트림 문학 분석 작업에 영향을 주는가?
• RQ4 데이터 오염, 평가 타당성, 그리고 공개 학습 데이터의 필요성에 대한 시사점은 무엇인가?

주요 결과

• GPT-4와 ChatGPT는 저작권 보호 하의 폭넓은 책을 암기하며, 특히 공상과학/판타지 및 베스트셀러에 대해 암기가 강하게 나타난다.
• 암기는 Google, Bing, C4, Pile 소스에서의 책의 웹 존재와 상관관계가 있으며, 특히 1928년 이전의 퍼블릭 도메인 텍스트의 경우 그렇다.
• BERT의 암기 정도는 거의 0에 가깝지만 Fifty Shades of Grey에서 예외가 나타나며, 이는 학습 데이터의 영향이 모델과 말뭉치에 따라 다름을 시사한다.
• 암기는 상기 도서들에 대해 첫 출간 연도 예측과 서사 시간 추정과 같은 다운스트림 작업의 성능을 향상시키며, 데이터 테스트 오염 위험을 시사한다.
• 암기 편차는 문화 분석 결과에 편향을 암시하며, 알려진 학습 데이터를 가진 오픈 모델의 필요성을 강화한다.