[論文レビュー] Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

Zhihua Song, Bin Yan+5 more|ArXiv.org|Feb 15, 2025

Topic Modeling被引用数 8

ひとこと要約

この調査は、LLMs へのドメイン固有知識注入を四つのパラダイム（ダイナミック、スタティック、アダプター、プロンプト）に分類し、複数のドメインにわたる応用、ベンチマークを調査し、ドメイン特化型 LLM を一般ドメインモデルと比較する。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.

研究の動機と目的

• LLMs へのドメイン固有知識注入の全体像を学際的に要約する。
• 注入手法を統一的に分類し、そのトレードオフを提示する。
• ドメイン特化型 LLM 研究で用いられるデータセット、ベンチマーク、オープンソースツールを調査する。
• ドメイン特化型 LLM を一般ドメイン LLM と比較して性能向上を評価する。

提案手法

• 四つの知識注入パラダイムを定義・統一する：ダイナミック知識注入、静的知識埋め込み、モジュール型アダプター、プロンプト最適化。
• 外部知識を LLMs に統合するための形式的表記を提供し、それぞれのパラダイムの長所と短所を論じる。
• 生物医薬、金融、材料/化学、ヒューマンセンタードサイエンスにわたるドメイン特化型応用をレビューする。
• オープンソースのフレームワーク（KnowGPT、StructTuning、K-Adapter、SelfLift）と利用可能なデータセット/ベンチマークを要約する。
• 医療ベンチマークを用いたドメイン特化型と一般ドメイン LLM の性能志向の比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 LLMs へのドメイン特化知識注入の主なパラダイムは何で、訓練/推論コストと能力にはどのような違いがあるか。
• RQ2 標準的な生物医学ベンチマークにおいて、ドメイン特化型 LLM は一般ドメイン LLM に対してどの程度の性能を示すか。
• RQ3 ドメイン特化 LLM の研究で最も一般的に用いられるデータセット、ベンチマーク、フレームワークは何か。
• RQ4 知識的一貫性の統合と跨ドメイン転移の機会・課題は、知識注入 LLMs においてどのように生じるか。

主な発見

ドメインタイプ	サイズ	MedQA	PubMedQA	MedMCQA
Med-Gemini	特定	91.1	-	-
GPT-4	一般	90.2	80.4	73.7
Med-PaLM 2	特定	85.4	81.8	72.3
PMC-LLaMA	特定	56.3	77.9	56.0
BioMedLM	特定	50.3	74.4	-
Llama 2	一般	43.7	74.3	35.0
Galactica	一般	44.4	77.6	52.9

• 四つのパラダイムが特定される：ダイナミック知識注入、静的知識埋め込み、モジュール型アダプター、プロンプト最適化。
• ダイナミック注入は検索品質に依存し、検索ステップのため遅くなる可能性がある一方、静的埋め込みは更新コストが高く、破局的忘却のリスクを伴う。
• アダプターは基底パラメータを凍結して小規模モジュールを訓練することで、比較的低い訓練コストの中間的な選択肢を提供する。
• プロンプトは内部知識の再訓練なしに利用を可能にするが、設計が慎重である必要があり、コンテキスト窓を縮小する可能性がある。
• ドメイン特化型 LLM は特定の生物医学タスクで一般ドメインモデルより高性能を発揮できる場合があるが、クローズドソース LLM（例：GPT-4、Med-Gemini）は現在ベンチマークで強力な結果を示している。
• PMC-LLaMA-13B は MedQA で LLaMA2-70B を上回ることができ、オープンソースの取り組みにおけるドメイン特化型モデルの価値を示している。