[논문 리뷰] If the Sources Could Talk: Evaluating Large Language Models for Research Assistance in History

Giselle González García, Christian Weilbach|arXiv (Cornell University)|2023. 10. 16.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 역사 분야에서 정확하고 대화형 연구 보조 기능을 제공하기 위해 대규모 언어 모델(Large Language Models, LLMs)에 전문적 역사 자료—예를 들어 원본 및 2차 학술 문헌—에서 유도된 벡터 임베딩을 통합하는 방법을 제안한다. 검토된, 동료 심사를 통과한 코퍼스를 프롬프트로 제공함으로써, 이 방법은 구조화된 데이터(예: 가족 계보 기록 등)의 고정밀 추출과 효과적인 질문-답변를 가능하게 하여, 표준 LLM 사용 대비 환상적 발언을 크게 감소시키고 출처 추적 가능성을 향상시킨다.

ABSTRACT

The recent advent of powerful Large-Language Models (LLM) provides a new conversational form of inquiry into historical memory (or, training data, in this case). We show that by augmenting such LLMs with vector embeddings from highly specialized academic sources, a conversational methodology can be made accessible to historians and other researchers in the Humanities. Concretely, we evaluate and demonstrate how LLMs have the ability of assisting researchers while they examine a customized corpora of different types of documents, including, but not exclusive to: (1). primary sources, (2). secondary sources written by experts, and (3). the combination of these two. Compared to established search interfaces for digital catalogues, such as metadata and full-text search, we evaluate the richer conversational style of LLMs on the performance of two main types of tasks: (1). question-answering, and (2). extraction and organization of data. We demonstrate that LLMs semantic retrieval and reasoning abilities on problem-specific tasks can be applied to large textual archives that have not been part of the its training data. Therefore, LLMs can be augmented with sources relevant to specific research projects, and can be queried privately by researchers.

연구 동기 및 목표

• 영역 특화된, 동료 심사 통과한 자료를 통합함으로써 LLM이 역사 분야에서 대화형 연구 보조 기능으로 효과적으로 활용될 수 있는지 탐구하는 것.
• 검토된 역사 코퍼스에 기반한 응답을 통해 LLM 출력의 사실적 신뢰성을 높이고 환상적 발언을 줄이는 것.
• 원본 및 2차 자료를 사용하여 구조화된 데이터 추출 작업(예: 가족 계보 기록의 표 형식 정리)에서 LLM의 성능을 평가하는 것.
• 기밀 또는 민감한 연구를 위해 전용 API에 의존하지 않고도 비공개의 출처 기반 LLM이 작동할 수 있음을 보여주는 것.
• 특히 로컬 또는 GPU가 없는 하드웨어에서 사용 가능한 오픈소스 LLM이 인문학 분야의 학술 연구에 활용 가능한지의 가능성 탐색

제안 방법

• 예를 들어 ChatGPT와 같은 사전 훈련된 LLM에 원본 문서와 학술적 2차 문헌을 포함한 검토된 역사 자료에서 유도된 벡터 임베딩을 통합하는 것.
• 추론 중에 관련된 자료 조각을 LLM의 컨텍스트 윈도우에 삽입하기 위해 검색 기반 생성(Retrieval-Augmented Generation, RAG) 기법을 사용하는 것.
• 가족 계보 기록과 같은 비정형 역사 텍스트에서 표 형식의 데이터를 추출하기 위해 구조화된 프롬프트를 설계하는 것. 예: *Historia de Familias Cubanas*에서의 기록.
• LLM의 사전 훈련된 지식을 활용해 스페인어 이름 관행을 기반으로 성별을 추론하고, 알려진 데이터와 비교하여 검증하는 것.
• 수동으로 검증된 기준 데이터를 사용하여 질문-답변 및 데이터 추출 작업에서의 성능을 평가하는 것.
• GPT-3.5와 Claude 2와 같은 다양한 LLM 간 성능을 비교하며, 컨텍스트 윈도우 크기와 추론 정확도에 중점을 두는 것.

Figure 1 : Interaction between a Human and an LLM in form of a conversation. The human optionally supplies a single source text document for the LLM to read first. The LLM can also retrieve text chunks from a vector database filled from a corpus of source documents. Dashed lines denote optional depe

실험 결과

연구 질문

• RQ1 영역 특화된 코퍼스로 강화된 LLM이 역사 분야에서 신뢰할 수 있고 출처에 기반한 연구 보조 기능을 제공할 수 있는가?
• RQ2 LLM은 비정형 역사 텍스트에서 구조화된 데이터(예: 출생, 사망, 결혼 일자 등)를 얼마나 정확하게 추출할 수 있는가?
• RQ3 명시적인 성별 레이블 없이도 LLM이 스페인어 이름 관행을 기반으로 역사 문서의 성별을 어느 정도 정확하게 추론할 수 있는가?
• RQ4 출처 기반 프롬프팅은 LLM 생성 응답에서 환상적 발언을 얼마나 줄이고 사실적 신뢰성을 어떻게 향상시키는가?
• RQ5 학술 자료로 미세조정된 오픈소스 LLM이 ChatGPT와 같은 전용 모델에 비해 학술 연구 과제에서 동등한 성능을 낼 수 있는가?

주요 결과

• ChatGPT는 *Historia de Familias Cubanas*의 9권 분량의 역사적 기록에서 95% 이상의 정확도로 표 형식의 가족 계보 데이터를 추출했으며, 복잡한 이름 조합(예: 'y' 연결어 포함)으로 인해 일부 항목을 누락시켰다.
• 이름 관행을 기반으로 한 성별 추론에서 18명 중 17명의 성별을 정확히 추론했으며, 18명 중 오직 한 건의 잘못된 추론만 있었다.
• 모든 추출된 일자 중에서 출생 일자 하나만 잘못 추론되었으며, 이는 시간적 데이터 추출의 낮은 오류율을 시사한다.
• 비영어 데이터에 대해 훈련된 비율이 7%에 불과했음에도 불구하고, GPT-3.5는 스페인어에 대해 강력한 성능을 보였으며, 스페인어 역사 텍스트의 정확한 번역과 해석을 수행했다.
• 출처 기반 프롬프팅은 검토된 동료 심사 통과 자료에 기반하여 응답을 근거화함으로써 환상적 발언을 크게 감소시키고 추적 가능성과 신뢰성을 향상시켰다.
• 오픈소스 LLM은 특히 Claude 2와 같이 컨텍스트 윈도우 지원이 확장된 모델을 통해 비공개의 온디바이스 연구 사용에 있어 잠재력을 보여주고 있다.

(a) Word cloud of the 9 volumes of Historia de Familias Cubanas by Francisco Javier de Santa Cruz [ 9 ] showing the word frequency and the regularity of names and expressions. Made by the authors with VoyantTools.