[論文レビュー] Knowledge Card: Filling LLMs' Knowledge Gaps with Plug-in Specialized Language Models

Shangbin Feng, Weijia Shi+4 more|arXiv (Cornell University)|May 17, 2023

Topic Modeling被引用数 4

ひとこと要約

Knowledge Cardは、ドメイン固有の最新知識をブラックボックス型大規模言語モデル（LLM）に動的に統合するためのモジュラーなフレームワークを提案する。専用の言語モデル（『Knowledge Card』と呼ばれる）をプラグインとして使用し、関連性、簡潔さ、事実性の3つのコンテンツ選択子と、ボトムアップおよびトップダウンの2つの統合戦略を用いることで、最先端の性能を達成。MMLUではCodexを6.6%向上させ、Flan-PaLMのようなより大きなモデルを上回る結果を得た。

ABSTRACT

By design, large language models (LLMs) are static general-purpose models, expensive to retrain or update frequently. As they are increasingly adopted for knowledge-intensive tasks, it becomes evident that these design choices lead to failures to generate factual, relevant, and up-to-date knowledge. To this end, we propose Knowledge Card, a modular framework to plug in new factual and relevant knowledge into general-purpose LLMs. We first introduce knowledge cards -- specialized language models trained on corpora from specific domains and sources. Knowledge cards serve as parametric repositories that are selected at inference time to generate background knowledge for the base LLM. We then propose three content selectors to dynamically select and retain information in documents generated by knowledge cards, specifically controlling for relevance, brevity, and factuality of outputs. Finally, we propose two complementary integration approaches to augment the base LLM with the (relevant, factual) knowledge curated from the specialized LMs. Through extensive experiments, we demonstrate that Knowledge Card achieves state-of-the-art performance on six benchmark datasets. Ultimately, Knowledge Card framework enables dynamic synthesis and updates of knowledge from diverse domains. Its modularity will ensure that relevant knowledge can be continuously updated through the collective efforts of the research community.

研究の動機と目的

• 一般向けLLMの静的かつ汎用的な性質が、事実的で最新かつドメイン特化された知識の生成に与える制限を是正すること。
• ベースLLMの再トレーニングなしに、多様な専門的ソースからのモジュラーかつ協調的な知識統合を可能にすること。
• ドメイン特化型言語モデルのコミュニティ主導の貢献を通じて、継続的な知識更新を支援すること。
• LLMの静的性質を克服し、知識集約的タスクにおける幻覚現象を低減すること。

提案手法

• 知識カードは、ドメイン特化コーパスで微調整された専用言語モデルであり、パrametricでモジュラーな知識リポジトリとして機能する。
• 知識カードからの出力のフィルタリングと精錬に、関連性、プルーニング（簡潔さ）、事実性の3つのコンテンツ選択子を適用する。
• ボトムアップアプローチでは、すべての知識カードにドキュメント生成を促す。その後、クエリと組み合わせてフィルタリング・連結し、LLMの推論に使用する。
• トップダウンアプローチでは、ベースLLMが外部知識の必要性を判断し、クエリの文脈に基づいて関連する知識カードを動的に選択・活性化する。
• 自動選択（LLMの推論による）と明示的ユーザー指定の2つの統合モードをサポートする。
• プラグアンドプレイによる更新を可能とし、ドメイン専門家や研究者が協調的に知識を貢献できるようにする。

Figure 1: Overview of Knowledge Card . We train knowledge cards on various knowledge domains and employ three knowledge selectors for quality control. We propose bottom-up and top-down to integrate general-purpose LLMs with modular and specialized LMs to enable multi-domain knowledge synthesis ( bot

実験結果

リサーチクエスチョン

• RQ1 一般向けLLMに再トレーニングなしで、専用のドメイン特化型言語モデルが事実的知識のギャップを効果的に埋められるか。
• RQ2 推論中に、外部知識の関連性・簡潔さ・事実性を動的に制御する方法は何か。
• RQ3 モジュラーな知識統合は、リtrieval-Augmentedや生成プロンプティングのベースラインを上回るか。
• RQ4 このフレームワークは、LLMの知識に対する継続的かつコミュニティ主導の更新をどのように支援するか。
• RQ5 動的かつ選択的な知識取得が、幻覚現象と事実の整合性に与える影響は何か。

主な発見

• Knowledge Cardは、ベースのCodexモデルに比べてMMLUベンチマークで6.6%の性能向上を達成。Flan-PaLMのようなより大きなモデルをも上回った。
• 誤情報分類タスクでは、二値分類で少なくとも15.8%、四値分類で10.0%のバランス精度向上を達成した。
• 自動選択によるトップダウンアプローチでは、知識ソース選択の精度が高く、57のMMLUサブタスクにおいてYAGOとWikipediaが最も頻繁に選択された知識カードであった。
• 知識カードごとの事実性スコアにはばらつきがあり、分布から一部の分野（例：生物医学分野）では他の分野よりも信頼性の高い出力が得られると示唆された。
• ボトムアップアプローチは、複数ドメインの知識統合を可能にするが、外部知識が不要な状況で不適切な情報が統合されるリスクを伴う。
• 広範なアブレーション実験から、3つのコンテンツ選択子（関連性、プルーニング、事実性）すべてが出力品質に顕著な寄与を示し、特に事実性が最も大きな影響を与えた。

Figure 2: Performance on misinformation detection when each knowledge card is separately added. Knowledge Card enables modular patching of LLMs while in-domain knowledge cards help the most.