[논문 리뷰] What has ChatGPT read? The origins of archaeological citations used by a generative artificial intelligence application

Dirk Spennemann|arXiv (Cornell University)|2023. 08. 07.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 채우기 분석(cloze analysis)을 사용하여 ChatGPT가 생성한 고고학 관련 인용문의 근원을 조사하며, 모델이 훈련 과정에서 실제 학술 자료에 접근했는지 평가한다. 연구 결과, ChatGPT는 유사한 참조를 제공하지만 대부분은 가짜로 밝혀졌으며, 진짜 인용문은 원본 텍스트가 아닌 위키백과에서 유래한 것으로 보이며, 이는 인공지능 기반 학술 콘텐츠의 데이터 품질과 신뢰성에 대한 우려를 제기한다.

ABSTRACT

The public release of ChatGPT has resulted in considerable publicity and has led to wide-spread discussion of the usefulness and capabilities of generative AI language models. Its ability to extract and summarise data from textual sources and present them as human-like contextual responses makes it an eminently suitable tool to answer questions users might ask. This paper tested what archaeological literature appears to have been included in ChatGPT's training phase. While ChatGPT offered seemingly pertinent references, a large percentage proved to be fictitious. Using cloze analysis to make inferences on the sources 'memorised' by a generative AI model, this paper was unable to prove that ChatGPT had access to the full texts of the genuine references. It can be shown that all references provided by ChatGPT that were found to be genuine have also been cited on Wikipedia pages. This strongly indicates that the source base for at least some of the data is found in those pages. The implications of this in relation to data quality are discussed.

연구 동기 및 목표

• ChatGPT가 인용한 고고학 참조의 근원을 규명하는 것.
• ChatGPT가 훈련 단계 동안 실제 학술 자료의 전문 텍스트 버전에 접근했는지 평가하는 것.
• 학술 및 문화유산 분야에서 인공지능 기반 인용문의 신뢰성 평가하는 것.
• 위키백과가 고고학 및 문화유산 분야에서 ChatGPT의 훈련 데이터의 주요 원천인지 조사하는 것.

제안 방법

• 채우기 분석을 수행하여, 참조 조각을 완성할 수 있는 능력에 기반해 ChatGPT가 '기억'한 자료를 유추하는 것.
• 고고학 및 문화유산 관리 분야의 알려진 학술 문헌과 대조하여 ChatGPT가 생성한 인용문을 수집하고 교차 확인하는 것.
• 학술 데이터베이스(JSTOR 등), 구글 북스, Archive.org에서의 존재 여부를 확인하여 참조의 진위를 검증하는 것.
• 데이터 기원을 파악하기 위해 위키백과 페이지의 인용과 비교하는 것.
• 반복적인 쿼리와 다양한 모델 버전을 통해 응답의 일관성과 신뢰성 테스트하는 것.
• 총 560개의 참조에서 저자, 제목, 연도 및 출처의 완전성 등을 평가하여 인용 정확도를 분석하는 것.

실험 결과

연구 질문

• RQ1 ChatGPT가 생성한 고고학 인용문 중 사실적으로 정확한 것과 가짜인 비율은 각각 얼마인가?
• RQ2 고고학 참조에 대해 ChatGPT의 훈련 데이터에 기여한 자료 중 가장 가능성 있는 것은 무엇인가?
• RQ3 ChatGPT가 인용한 진짜 참조들이 위키백과 페이지에 기재되어 있는가? 이는 위키백과를 통해 학습했을 가능성이 있음을 시사한다.
• RQ4 ChatGPT가 훈련 과정에서 인용된 학술 자료의 전문 텍스트 버전에 얼마나 접근했는가?
• RQ5 ChatGPT의 인용문은 반복적인 쿼리와 모델 버전 간에 얼마나 일관된가?

주요 결과

• 총 560개의 참조를 분석한 결과, 48.8%는 혼동되거나 가짜였으며, 이는 인공지능 기반 인용문에서의 높은 환각 현상을 시사한다.
• 참조의 32.1%만이 정확한 저자, 제목, 연도 정보를 포함하여 올바르게 인용되었다.
• ChatGPT가 인용한 모든 진짜 참조는 해당 위키백과 페이지에서도 인용되어 있었으며, 이는 위키백과가 훈련 데이터의 주요 원천일 가능성을 시사한다.
• 훈련 과정에서 ChatGPT가 진짜 학술 참조의 전문 텍스트 버전에 접근한 근거는 발견되지 않았다.
• 오스트레일리아 고고학 분야에서는 84.5%의 인용문이 혼동되었으며, 이는 이 분야에서 특히 높은 오류 비율을 의미한다.
• 반복적인 쿼리에서 모델은 일관된 인용 오류를 보였으며, 재생성된 응답은 자주 다른 오류를 포함하는 가짜 참조를 생성했다.