[論文レビュー] Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning

Teo Sušnjak, Peter K. Hwang+4 more|arXiv (Cornell University)|Apr 8, 2024

Scientific Computing and Data Management被引用数 11

ひとこと要約

この論文は、domain-specific SLR papers へのオープンソース LLMs のファインチューニングを行い、systematic literature reviews の知識統合フェーズを自動化し、幻覚と provenance auditing に対処し、PRISMA-conforming SLR を再現してアプローチを検証します。

ABSTRACT

This research pioneers the use of fine-tuned Large Language Models (LLMs) to automate Systematic Literature Reviews (SLRs), presenting a significant and novel contribution in integrating AI to enhance academic research methodologies. Our study employed the latest fine-tuning methodologies together with open-sourced LLMs, and demonstrated a practical and efficient approach to automating the final execution stages of an SLR process that involves knowledge synthesis. The results maintained high fidelity in factual accuracy in LLM responses, and were validated through the replication of an existing PRISMA-conforming SLR. Our research proposed solutions for mitigating LLM hallucination and proposed mechanisms for tracking LLM responses to their sources of information, thus demonstrating how this approach can meet the rigorous demands of scholarly research. The findings ultimately confirmed the potential of fine-tuned LLMs in streamlining various labor-intensive processes of conducting literature reviews. Given the potential of this approach and its applicability across all research domains, this foundational study also advocated for updating PRISMA reporting guidelines to incorporate AI-driven processes, ensuring methodological transparency and reliability in future SLRs. This study broadens the appeal of AI-enhanced tools across various academic and research fields, setting a new standard for conducting comprehensive and accurate literature reviews with more efficiency in the face of ever-increasing volumes of academic studies.

研究の動機と目的

• SLRs の知識統合段階を効率化するために finetuned LLM の活用を動機づける。
• 選択した論文をファインチューニングデータセットへ変換する方法を開発する。
• LLM の幻覚を軽減し、出典への応答を監査可能にする。
• 金標準としてPRISMA-conforming SLRを再現することによってフレームワークを評価する。

提案手法

• 知識統合に焦点を当てた4段階のSLR自動化フレームワークを提案する。
• Step 2a は、選択した論文からのQ&Aデータ抽出と統合をLLMを用いて自動化する。
• Step 2b は、ファインチューニング済み知識と事前学習知識を区分けするために explicit knowledgeTokens を挿入する。
• Step 3 は、PEFTベースのファインチューニングと任意の Retrieval-Augmented Generation (RAG) を適用する。
• Step 4 は、出典監査可能な評価データセットを用いて事実正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: finetuning および/または RAG を備えた LLM は、SLR の統合フェーズを促進できますか？
• RQ2 RQ2: finetuning データセットはどのようにして SLR コーパスから自動的に抽出できますか？
• RQ3 RQ3: 比較的小規模で狭いドメインのデータセットに対してファインチューニングは効果的に実施できますか？
• RQ4 RQ4: LLM 出力の高忠実度と監査可能な出典を実現できるか、どの指標が適切か？
• RQ5 RQ5: 提案手法は公開された SLR を再現するのに適用可能ですか？

主な発見

• このフレームワークは、知識統合を自動化しつつ、事実の正確性と監査可能な出典を維持することを目指す。
• PEFT はパラメータの一部を更新することで、効率的なファインチューニングを可能にする。
• RAG は、ドメイン特化ドキュメントを用いた推論を補完し、事実基盤を強化できる。
• このアプローチは、learning analytics における PRISMA-conforming SLR を再現するユースケースを通じて実証される。
• LLM ファインチューニングのデータキュレーションを支援する Python パッケージを公開。
• 本研究は、AI 主導のプロセスを組み込むために PRISMA ガイドラインの更新を提案している。