[論文レビュー] Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications

Zhangyin Feng, Weitao Ma+8 more|arXiv (Cornell University)|Nov 10, 2023

Topic Modeling被引用数 8

ひとこと要約

このサーベイは知識編集と検索拡張を通じたLLMsへの知識統合を検討し、方法論の分類、ベンチマーク、応用を整理し、今後の方向性を論じる。

ABSTRACT

Large language models (LLMs) exhibit superior performance on various natural language tasks, but they are susceptible to issues stemming from outdated data and domain-specific limitations. In order to address these challenges, researchers have pursued two primary strategies, knowledge editing and retrieval augmentation, to enhance LLMs by incorporating external information from different aspects. Nevertheless, there is still a notable absence of a comprehensive survey. In this paper, we propose a review to discuss the trends in integration of knowledge and large language models, including taxonomy of methods, benchmarks, and applications. In addition, we conduct an in-depth analysis of different methods and point out potential research directions in the future. We hope this survey offers the community quick access and a comprehensive overview of this research area, with the intention of inspiring future research endeavors.

研究の動機と目的

• 外部知識をLLMsと統合するための包括的な分類法を定義する。
• 知識編集と検索拡張の方法を体系的に分析する。
• この領域におけるベンチマーク、評価基準、応用を要約する。
• 主要な課題と今後の研究方向を特定する。

提案手法

• 既存の研究を知識編集と検索拡張の分類法（図1）に整理する。
• 知識編集を入力編集、モデル編集、および編集知識の評価に細分化する。
• 検索判定、文書検索、文書活用、知識衝突、ベンチマークを含む検索拡張を検討する。
• edited knowledgeとretrieved knowledgeの代表的な方法、データセット、評価基準をレビューする。
• 最先端の応用を検討し、今後の研究の方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 LLMsへの知識統合における主な動向とカテゴリーは何か。
• RQ2 知識編集と検索拡張はどのように異なり、それぞれのサブタイプとベンチマークは何か。
• RQ3 これらの統合を示す応用は何で、今後の課題は何か。
• RQ4 知識編集と検索拡張の評価ベンチマークは何が存在し、それらはどのような示唆を提供するか。

主な発見

• 本論文は知識編集と検索拡張を中心とする現在の研究を具体的に整理している。
• 入力編集、モデル編集、知識編集の評価、および検索判定、文書検索、文書活用を含む分類法を提示している。
• 知識統合とLLMsにおける代表的な方法、ベンチマーク、応用をレビューしている。
• 知識の保存、編集の精度、言語間転送などの課題を論じ、今後の研究方向を強調している。