[論文レビュー] Teaching Language Models to Hallucinate Less with Synthetic Tasks

Erik Jones, Hamid Palangi+6 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、幻覚が容易に検出可能な合成検索タスク上でシステムメッセージをプレフィックスチューニングにより最適化することで、大規模言語モデル（LLMs）の幻覚を低減する手法SynTraを提案する。この最適化されたシステムメッセージを実世界の要約生成タスクに転送することで、平均で7ポイント以上、特定のタスクでは最大16ポイントの幻覚低減が達成された。一方、モデル全体を微調整すると幻覚が悪化する場合がある。

ABSTRACT

Large language models (LLMs) frequently hallucinate on abstractive summarization tasks such as document-based question-answering, meeting summarization, and clinical report generation, even though all necessary information is included in context. However, optimizing LLMs to hallucinate less on these tasks is challenging, as hallucination is hard to efficiently evaluate at each optimization step. In this work, we show that reducing hallucination on a synthetic task can also reduce hallucination on real-world downstream tasks. Our method, SynTra, first designs a synthetic task where hallucinations are easy to elicit and measure. It next optimizes the LLM's system message via prefix-tuning on the synthetic task, and finally transfers the system message to realistic, hard-to-optimize tasks. Across three realistic abstractive summarization tasks, SynTra reduces hallucination for two 13B-parameter LLMs using only a synthetic retrieval task for supervision. We also find that optimizing the system message rather than the model weights can be critical; fine-tuning the entire model on the synthetic task can counterintuitively increase hallucination. Overall, SynTra demonstrates that the extra flexibility of working with synthetic data can help mitigate undesired behaviors in practice.

研究の動機と目的

• 実世界の要約生成タスクにおけるLLMの幻覚を低減する課題に対処すること。直接的な最適化は、幻覚評価が高コストであるため、実行不可能である。
• 幻覚の検出が容易な合成タスクを用いることで、スケーラブルな方法で幻覚に対する効率的なトレーニングを可能にする。
• モデル重みではなくシステムメッセージを最適化することで、下流タスクにおける一般化性能の向上と幻覚の低減が可能かどうかを検証すること。
• 合成データで最適化されたシステムメッセージを、臨床レポート作成や会議要約といった現実的タスクに転送することで、性能が向上するかどうかを評価すること。

提案手法

• LLMが与えられた文字で始まる名前のリストから名前を検索する合成検索タスクを設計し、リストに存在しない名前を生成することは幻覚と定義する。
• 連続的なポストフィックスをシステムプロンプトに追加することで、システムメッセージをプレフィックスチューニングにより最適化し、高レベルの指示を勾配ベースで最適化可能にする。
• 合成タスクにおける幻覚を最小化すると同時に、参照プロンプトに対する一貫性のある出力を維持するようシステムメッセージを訓練することで、不自然な学習を回避する。
• モデル重みの微調整を一切行わずに、最適化されたシステムメッセージを実世界の要約生成タスクに転送する。
• GPT-4を幻覚評価者として用い、実タスクにおける幻覚率を測定し、SynTraとベースライン微調整、元のモデルを比較する。
• モデルが合成タスクの構造に依存する不自然なパターンを学習しないように、一貫性正則化損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 幻覚を誘発・測定可能な合成タスク上でシステムメッセージを最適化することで、実世界の要約生成タスクにおける幻覚を低減できるか？
• RQ2 プレフィックスチューニングによるシステムメッセージ最適化は、合成タスク上でモデル重み全体を微調整するのと比べて、より良い転送性能を示すか？
• RQ3 設計された合成タスクは、実世界タスクに一般化可能な形で幻覚を誘発・測定できるか？
• RQ4 SynTraを適用した後、異なる実世界タスクにおける幻覚率はどのように変化するか？また、モデルアーキテクチャの違いによって変動するか？

主な発見

• SynTraは、13BパラメータのLLMであるOrcaに適用したところ、3つの実世界要約タスクで平均して7ポイント以上の幻覚率低減を達成した。
• 特定のタスクでは幻覚率が最大16ポイントまで低下し、特に挑戦的な状況でも顕著な性能向上を示した。
• 合成タスク上でモデル全体を微調整すると幻覚率が上昇したため、幻覚低減の観点から見ると、完全な微調整は逆効果である可能性がある。
• 最適化されたシステムメッセージにより、出力が参照要約と重複する割合が増え、根拠のないエンティティの生成が減少し、事実の整合性が向上したことが確認された。
• モデル重みではなくシステムメッセージを最適化することが、多様な下流タスクにおいてより良い一般化性能と幻覚の低減を実現する上で不可欠であった。
• 本手法は、検索・抽出、会議要約、臨床レポート生成のタスクにおいて、2つの13BパラメータのLLM（Vicuna v1.1とOrca）で一貫した改善を示した。