[論文レビュー] Knowledge Infused Decoding

Ruibo Liu, Guo‐qing Zheng+6 more|arXiv (Cornell University)|Apr 6, 2022

Topic Modeling被引用数 11

ひとこと要約

Knowledge Infused Decoding (KID) は、強化学習で最適化された局所的知識メモリと動的に構築された知識トリーを介して、自己回帰的言語モデル生成に外部知識を動的に統合する、タスクおよびモデルに依存しないデコーディングアルゴリズムである。6つの知識集約的自然言語生成（NLG）タスクにおいて、ファクトの整合性と性能が顕著に向上し、微調整やアーキテクチャの変更を要せず、少サンプル設定でも強力なベースラインやタスク最適化モデルを上回る。

ABSTRACT

Pre-trained language models (LMs) have been shown to memorize a substantial amount of knowledge from the pre-training corpora; however, they are still limited in recalling factually correct knowledge given a certain context. Hence, they tend to suffer from counterfactual or hallucinatory generation when used in knowledge-intensive natural language generation (NLG) tasks. Recent remedies to this problem focus on modifying either the pre-training or task fine-tuning objectives to incorporate knowledge, which normally require additional costly training or architecture modification of LMs for practical applications. We present Knowledge Infused Decoding (KID) -- a novel decoding algorithm for generative LMs, which dynamically infuses external knowledge into each step of the LM decoding. Specifically, we maintain a local knowledge memory based on the current context, interacting with a dynamically created external knowledge trie, and continuously update the local memory as a knowledge-aware constraint to guide decoding via reinforcement learning. On six diverse knowledge-intensive NLG tasks, task-agnostic LMs (e.g., GPT-2 and BART) armed with KID outperform many task-optimized state-of-the-art models, and show particularly strong performance in few-shot scenarios over seven related knowledge-infusion techniques. Human evaluation confirms KID's ability to generate more relevant and factual language for the input context when compared with multiple baselines. Finally, KID also alleviates exposure bias and provides stable generation quality when generating longer sequences. Code for KID is available at https://github.com/microsoft/KID.

研究の動機と目的

• 事前学習済み言語モデルが知識集約的生成において事実の誤認知（ホールーシング）を生じるのを是正すること。
• RAG などのモデルが静的知識取得に依存するため、長期間の生成中に変化する文脈に適応できないという限界を克服すること。
• 微調整やアーキテクチャ変更なしに、ファクトの整合性を向上させる軽量で推論時のみのソリューションを開発すること。
• 長文生成における露呈バイアス（exposure bias）の是正と、少サンプル一般化の向上を図ること。
• 学習可能で文脈に適応する知識メモリを用いて、解釈可能で制御可能な知識統合を実現すること。

提案手法

• KID は、取得した文書から関連するエンティティや事実を格納する有限で先入れ先出し（FIFO）の局所的知識メモリを維持する。
• 各デコーディングステップで、取得した支援文書から動的に知識トリーを構築し、関連知識の効率的検索を実現する。
• 局所的知識メモリは強化学習により更新され、次トークンの確率分布を知識関連エンティティに向けた方向にガイドする。
• 知識統合は推論時のみに実行されるため、KID は微調整やアーキテクチャ変更なしに任意の事前学習済み言語モデルと互換性を持つ。
• エンティティの一貫性と関連性に基づく報酬信号を用いて、知識に配慮したデコーディング方針を最適化する。
• KID はビームサーチやナクレアスサンプリングといった標準的なデコーディング戦略と統合され、リアルタイムの知識制約を強化する。

実験結果

リサーチクエスチョン

• RQ1 微調整やアーキテクチャ変更なしに、推論時のみの軽量デコーディング手法が、事前学習済み言語モデルのファクトの整合性を顕著に向上させ得るか？
• RQ2 長文およびマルチターン生成タスクにおいて、推論時における動的知識統合は、静的取得手法に比べてどのように優れているか？
• RQ3 KID は、タスク最適化モデルと比較して、少サンプルおよび低リソース環境にどの程度一般化可能か？
• RQ4 KID は長文生成における露呈バイアスを効果的に是正するか？
• RQ5 強化学習による知識に配慮したデコーディングは、抽象的NLGタスクにおける関連性と事実性の両方を向上させるか？

主な発見

• KID は、要約生成、対話生成、オープンエンドストーリー生成を含む、6つの多様な知識集約的NLGタスクにおいて、従来のビームサーチやサンプリングを顕著に上回った。
• ELI5 および WoW ベンチマークにおいて、人間のアノテーターによる評価で、KID が生成した出力は RAG や他のベースラインと比較して、事実性および関連性で 1.5～2.0 ポイント高い評価を得た。
• 少サンプル設定では、7つの強力な知識統合ベースラインを上回り、低リソース環境下でも優れた一般化性能とロバストネスを示した。
• KID は露呈バイアスを是正し、RAG や類似モデルがしばしばトピックから逸脱するのに対し、長文生成においても一貫した事実的品質を維持した。
• KID は、微調整なしに GPT-2 および BART のみを用いても、全評価タスクで最先端のパフォーマンスを達成した。これは、プラグアンドプレイ型の強化手法としての有効性を示している。
• 知識トリーと局所的メモリのコンponents は推論オーバーヘッドを最小限に抑え、KID のメモリフットプリントは管理可能（知識トリーで 10MB 未満）であり、1ステップあたりの推論コストは概ね O(1) であった。