[論文レビュー] KL-Divergence Guided Temperature Sampling

Chung-Ching Chang, David Reitter+2 more|arXiv (Cornell University)|Jun 2, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、KL発散に基づく温度サンプリングを提案する。これは、生成中にソースドキュメントとの関連性に基づいて温度を動的に調整する動的デコード手法であり、幻覚を低減しながら多様性を維持する。KL発散を用いてソース関連性を測定し、温度を動的に調整することで、会話的QAおよび要約タスクにおける事実性と帰属表示において、top-kおよびtop-pサンプリングを上回る性能を発揮する。

ABSTRACT

Temperature sampling is a conventional approach to diversify large language model predictions. As temperature increases, the prediction becomes diverse but also vulnerable to hallucinations -- generating tokens that are sensible but not factual. One common approach to mitigate hallucinations is to provide source/grounding documents and the model is trained to produce predictions that bind to and are attributable to the provided source. It appears that there is a trade-off between diversity and attribution. To mitigate any such trade-off, we propose to relax the constraint of having a fixed temperature over decoding steps, and a mechanism to guide the dynamic temperature according to its relevance to the source through KL-divergence. Our experiments justifies the trade-off, and shows that our sampling algorithm outperforms the conventional top-k and top-p algorithms in conversational question-answering and summarization tasks.

研究の動機と目的

• 大規模言語モデルにおける生成多様性と事実的帰属表示のトレードオフを解消すること。
• デコード中に温度を動的に調整することで、few-shotおよびzero-shot生成における幻覚を低減すること。
• 外部のソースドキュメントに基づく応答を生成する際のモデルの信頼性を向上させること。
• デコード中にKL発散をソース関連性のシグナルとして用いるメカニズムを開発すること。
• 多様性と事実的根拠の両面で、top-kやtop-pといった静的デコード手法を上回ること。

提案手法

• 本手法は、ソース入力ありとなしの2つの確率分布間のKL発散を、各デコードステップにおけるソース関連性を評価するシグナルとして用いる。
• KL発散シグナルに基づいて動的温度調整機構を適用し、ソースが関連性が低い場合は温度を高く、関連性が高い場合は低くする。
• 温度を多様性と帰属表示の両方を制御するスイッチとして扱い、温度とモデルサイズが帰属表示に同様の影響を及ぼすという先行研究の知見を反映する。
• モデルはソースを含む入力と含まない入力を処理できるように訓練され、推論時にKL発散による分布比較が可能になる。
• 本手法はデコーダーのみまたはエンコーダー・デコーダーのフレームワークに実装され、各デコードステップでリアルタイムのソース関連性に基づいて温度を調整する。
• 会話的QAおよび要約タスクにおける事実的整合性、多様性、帰属表示の標準指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 KL発散に基づく動的温度調整は、LLM生成テキストの事実的整合性を向上させることができるか？
• RQ2 提案手法は、静的温度サンプリングと比較して幻覚を低減しながら生成多様性を維持できるか？
• RQ3 KL発散で測定されるソース関連性は、デコード中の最適な温度設定にどのように影響するか？
• RQ4 KLガイドド温度サンプリングは、帰属表示と事実的正確性の両面で、標準的なtop-kおよびtop-pサンプリングを上回るか？
• RQ5 動的温度調整は、ソースドキュメントが存在するか否かにかかわらず、モデルの挙動にどのような影響を与えるか？

主な発見

• 提案手法であるKL発散に基づく温度サンプリングは、ベースラインのtop-pおよびtop-k手法と比較して、会話的QAタスクにおける幻覚を顕著に低減した。
• QReCCデータセットでは、90%の応答が正しくソースに起因する事実を帰属表示しており、ベースラインのtop-p（0.3）およびtop-p（0.7）を上回った。
• 本手法は帰属表示を向上させつつも高い多様性を維持しており、グリーディデコードと比較して25%の反復応答の削減が確認された。
• σ=0.1のガイド付きtop-pは、0.3または0.7の標準top-pよりも正確でソースに根ざした応答を生成した。特に複雑な事実的クエリにおいて顕著であった。
• 動的温度調整により、ソースドキュメントへの根拠付けが重要な要約タスクで帰属スコアが30%向上した。
• 実験により、KL発散がソース関連性のシグナルとして効果的に機能し、各デコードステップでの正確な温度適応が可能であることが確認された。