[論文レビュー] Augmented Large Language Models with Parametric Knowledge Guiding

Ziyang Luo, Can Xu+6 more|arXiv (Cornell University)|May 8, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、トレーニング可能でオープンソースの「ホワイトボックス」言語モデルを統合することで、ドメイン固有の知識をブラックボックスの大規模言語モデル（LLM）に統合する、パラメトリック知識ガイドリング（PKG）というフレームワークを提案する。この手法により、元のLLMのパラメータを変更せずに、知識集約的タスクにおけるLLMの性能が向上し、プライバシー保護が保たれ、ドメインデータを用いたオフライン微調整が可能になる。性能向上は、表形式QAで最大+11.9%の向上を達成した。

ABSTRACT

Large Language Models (LLMs) have significantly advanced natural language processing (NLP) with their impressive language understanding and generation capabilities. However, their performance may be suboptimal for domain-specific tasks that require specialized knowledge due to limited exposure to the related data. Additionally, the lack of transparency of most state-of-the-art (SOTA) LLMs, which can only be accessed via APIs, impedes further fine-tuning with domain custom data. Moreover, providing private data to the LLMs' owner leads to data privacy problems. To address these challenges, we propose the novel Parametric Knowledge Guiding (PKG) framework, which equips LLMs with a knowledge-guiding module to access relevant knowledge without altering the LLMs' parameters. Our PKG is based on open-source "white-box" language models, allowing offline memory of any knowledge that LLMs require. We demonstrate that our PKG framework can enhance the performance of "black-box" LLMs on a range of domain knowledge-intensive tasks that require factual (+7.9%), tabular (+11.9%), medical (+3.0%), and multimodal (+8.1%) knowledge.

研究の動機と目的

• ブラックボックスLLMがドメイン固有のタスクにおいて、専門知識が不足しており、透明性に欠けるという限界を是正すること。
• 微調整におけるデータプライバシー懸念を克服し、ドメイン固有の知識をパラメータフリーでオフラインで統合できる仕組みを提供すること。
• 元のモデル重みを変更せずにLLMの性能を向上させるソリューションを提供することで、モデルの整合性とセキュリティを維持すること。
• リtrievalベースの手法ではなく、パrametricで微調整可能な知識生成モジュールを用いて、LLMへの効果的な知識統合を実現すること。
• ファクト、表形式、医療、マルチモーダル推論を含む多様な知識集約的タスクにおいて、フレームワークの有効性を実証すること。

提案手法

• オープンソースで微調整可能なLLM（例：LLaMA-7B）に基づくパラメトリック知識ガイドリングモジュールを導入し、これを『ホワイトボックス』の知識ソースとして機能させる。
• 特定のドメインタスクおよび知識タイプに適合させるために、インstructチューニングを用いてPKGモジュールを微調整する。
• 各入力に対して、PKGモジュールが文脈的に関連する背景知識のシーケンスを生成する。
• 背景知識を強化したプロンプト（background-augmented prompting）により、生成された知識をターゲットブラックボックスLLMの入力プロンプトに統合する。
• 知識アクセスを元のLLMから分離することで、オフライン、安全かつカスタマイズ可能な知識統合を可能にする。
• モジュラー設計を採用し、PKGモジュールを独立してトレーニングした後、任意の外部LLMの推論をガイドする形で利用可能にする。

Figure 1 : A brief introduction of our parametric knowledge guiding framework (PKG) for augmenting "black box" LLMs on domain-specific tasks.

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな知識生成モジュールは、重みを変更せずにブラックボックスLLMのドメイン固有タスクにおける性能を向上させることができるか？
• RQ2 PKGフレームワークは、ファクト、表形式、医療、マルチモーダルな知識集約的タスクにおいて、LLMの性能をどの程度向上させることができるか？
• RQ3 微調整されたオープンソースの『ホワイトボックス』モデルを用いた知識生成が、複雑な知識統合において、リtrievalベースの手法を上回るか？
• RQ4 従来のAPIベースの微調整と比較して、PKGフレームワークは微調整中のデータプライバシーをどの程度保護するか？
• RQ5 PKGフレームワークは、最小限のアーキテクチャ変更で、多様な知識タイプおよび下流タスクに一般化可能か？

主な発見

• PKGフレームワークは、ファクト知識タスク（FM2）において、ベースラインLLMと比較して+7.9%の性能向上を達成した。
• 表形式知識タスク（NQ-Table）では+11.9%の向上を示し、構造化された知識に対する強力な性能を実証した。
• 医療QA（MedMC-QA）では+3.0%の性能向上を達成し、専門分野における有効性を示した。
• マルチモーダル推論（ScienceQA）では、正答率が+8.1%向上し、複数モダリティにわたる頑健性を示した。
• 知識アクセスを元のLLMから分離することで、セキュアでオフラインの微調整が可能となり、データプライバシーのリスクが低減された。
• 浅いドキュメントリtrievalではなく、より深く統合された知識生成を活用することで、PKGはリtrievalベースのベースラインを上回った。

Figure 2 : The knowledge alignment example of the PKG module on the fact-checking task (FM2). The passage behind the "Response" is the background knowledge of the "Input".