[論文レビュー] If the Sources Could Talk: Evaluating Large Language Models for Research Assistance in History

Giselle González García, Christian Weilbach|arXiv (Cornell University)|Oct 16, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、歴史学分野における正確で会話可能な研究支援を実現するため、大規模言語モデル（LLMs）に、一次および二次の学術的文献を含む専門的な歴史的資料からのベクトル埋め込みを組み合わせることを提案する。査読済みのコーパスをキュレートしてLLMにプロンプトすることで、構造化されたデータ（例：家系図記録）の高精度抽出と効果的な質疑応答が可能となり、標準的なLLMの使用と比較して幻覚現象が著しく減少し、出典の追跡性が向上する。

ABSTRACT

The recent advent of powerful Large-Language Models (LLM) provides a new conversational form of inquiry into historical memory (or, training data, in this case). We show that by augmenting such LLMs with vector embeddings from highly specialized academic sources, a conversational methodology can be made accessible to historians and other researchers in the Humanities. Concretely, we evaluate and demonstrate how LLMs have the ability of assisting researchers while they examine a customized corpora of different types of documents, including, but not exclusive to: (1). primary sources, (2). secondary sources written by experts, and (3). the combination of these two. Compared to established search interfaces for digital catalogues, such as metadata and full-text search, we evaluate the richer conversational style of LLMs on the performance of two main types of tasks: (1). question-answering, and (2). extraction and organization of data. We demonstrate that LLMs semantic retrieval and reasoning abilities on problem-specific tasks can be applied to large textual archives that have not been part of the its training data. Therefore, LLMs can be augmented with sources relevant to specific research projects, and can be queried privately by researchers.

研究の動機と目的

• ドメイン固有の査読済み資料を統合することで、LLMsが歴史分野における会話型研究支援として効果的に機能するかを調査すること。
• 査定済みの歴史的コーパスに応答を根拠づけることで、LLM出力の幻覚現象を低減し、事実の信頼性を向上させること。
• 一次および二次的資料を用いて、家系図記録の表形式化などの構造化されたデータ抽出タスクにおけるLLMsのパフォーマンスを評価すること。
• 特許のないAPIに依存せずに、機密性の高い研究を支援できるプライベートで出典拡張型LLMsの有効性を示すこと。
• オープンソースLLMsが、ローカルまたはGPU非搭載のハードウェアでも人文学分野の学術的調査に利用可能かどうかの可能性を検討すること。

提案手法

• キュレートされた歴史的資料（一次文書および学術的二次的文献を含む）からのベクトル埋め込みを、事前学習済みLLMs（例：ChatGPT）に統合すること。
• 推論時におけるLLMのコンテキスト窓に関連する出典チャンクを組み込むために、リtrieバル拡張生成（RAG）技術を用いること。
• 非構造化歴史的テキスト（例：*Historia de Familias Cubanas* の家系図記録）から表形式データを抽出するための構造化プロンプトを設計すること。
• LLMの事前学習知識を活用して、スペイン語の名前表記ルールに基づき性別の推定を行うが、既知のデータと照合して検証すること。
• 手動で検証済みの基準データを用いて、質問応答およびデータ抽出タスクにおけるパフォーマンスを評価すること。
• GPT-3.5やClaude 2などのLLMsを比較し、コンテキスト窓サイズおよび推論の正確性に注目すること。

Figure 1 : Interaction between a Human and an LLM in form of a conversation. The human optionally supplies a single source text document for the LLM to read first. The LLM can also retrieve text chunks from a vector database filled from a corpus of source documents. Dashed lines denote optional depe

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有のコーパスで拡張されたLLMsは、出典に基づいた研究支援を歴史分野で信頼性を持って提供できるか？
• RQ2 LLMsは非構造化歴史的テキスト（例：出生・死亡・結婚日）から構造化されたデータをどれほど正確に抽出できるか？
• RQ3 明示的な性別ラベルがない状況でも、LLMsはスペイン語の名前表記ルールに基づき、歴史的文書内の性別をどの程度正確に推定できるか？
• RQ4 出典拡張によるプロンプト技術は、幻覚現象をどの程度低減させ、LLM出力の事実の信頼性を向上させられるか？
• RQ5 ファインチューニングにより学術的資料を統合したオープンソースLLMsは、ChatGPTのような特許モデルと同等のパフォーマンスを示せるか？

主な発見

• ChatGPTは、*Historia de Familias Cubanas* の9巻から構造化された家系図データを表形式に抽出し、95％以上の正確性を達成した。複雑な名前構造（例：「y」接続）を含む少数のエントリを除き、すべてのデータを正しく抽出した。
• 名前表記ルールに基づき、18人のうち17人の性別を正しく推定した。18件中1件のみ誤った推定が発生した。
• 抽出されたすべての日付のうち、出生日付が1件のみ誤って推定された。これは、時間的データ抽出における低誤差率を示している。
• 英語以外のデータは7％程度しか学習データに含まれていないにもかかわらず、GPT-3.5はスペイン語の翻訳および解釈において優れたパフォーマンスを示した。
• 出典拡張プロンプト技術により幻覚現象が顕著に低減し、査読済みの学術的コーパスに基づく出典追跡性と信頼性が向上した。
• オープンソースLLMsは、特にClaude 2のようなモデルで急速に拡大するコンテキスト窓を備えることにより、プライベートでデバイス内での研究利用に有望である。

(a) Word cloud of the 9 volumes of Historia de Familias Cubanas by Francisco Javier de Santa Cruz [ 9 ] showing the word frequency and the regularity of names and expressions. Made by the authors with VoyantTools.