[論文レビュー] PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions

Anthony Chen, Panupong Pasupat+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 6

ひとこと要約

PURRは、大規模言語モデルを用いて生成された合成的汚染をノイズ除去することで、言語モデルの事実誤認を効率的に編集する非教師あり手法を導入する。このアプローチは、プロンプトベースの編集法と比較して優れた帰属性能を達成するが、ラベル付き学習データやペaired証拠を必要とせず、推論コストが著しく低い。

ABSTRACT

The remarkable capabilities of large language models have been accompanied by a persistent drawback: the generation of false and unsubstantiated claims commonly known as "hallucinations". To combat this issue, recent research has introduced approaches that involve editing and attributing the outputs of language models, particularly through prompt-based editing. However, the inference cost and speed of using large language models for editing currently bottleneck prompt-based methods. These bottlenecks motivate the training of compact editors, which is challenging due to the scarcity of training data for this purpose. To overcome these challenges, we exploit the power of large language models to introduce corruptions (i.e., noise) into text and subsequently fine-tune compact editors to denoise the corruptions by incorporating relevant evidence. Our methodology is entirely unsupervised and provides us with faux hallucinations for training in any domain. Our Petite Unsupervised Research and Revision model, PURR, not only improves attribution over existing editing methods based on fine-tuning and prompting, but also achieves faster execution times by orders of magnitude.

研究の動機と目的

• 大規模言語モデル（LLM）の事実誤認や事実に反する出力の問題に対処すること。
• リアルタイム編集に依存する大規模モデルを用いたプロンプトベース編集法の高い推論コストを低減すること。
• ファインチューニングされた編集者用の学習データの不足を補うために、完全に非教師ありの方法で合成的事実誤認・汚染ペアを生成すること。
• 多様なドメインやタスクにわたって事実の帰属性能を向上させる、コンactで効率的な編集者を開発すること。

提案手法

• 検索された証拠から得られる事実的主張を汚染することで、大規模言語モデルを用いて合成的事実誤認を生成する。
• トピック的に関連する証拠を検索し、要約して主張にし、LLMを用いた汚染を適用することでノイズの多い学習例を生成するデータ生成パイプラインを構築する。
• 検索された証拠を文脈として用い、汚染された主張をノイズ除去するように、コンパクトなファージョン・イン・デコーダーT5モデル（PURR）をファインチューニングする。
• 手動で整備された編集データやトレーニング時のペア証拠を一切必要としない、完全に非教師ありの方法で編集者を訓練する。
• 推論時に、未根拠の主張を修正するために、検索クエリを生成し、証拠を検索し、事実的に整合性のある再定式化された文を生成するための編集者を活用する。

(a) Training PURR. Given a seed query, we search for relevant evidence and summarize them into a claim which we corrupt. PURR is trained to denoise the corruption conditioned on the evidence.

実験結果

リサーチクエスチョン

• RQ1 LLMに基づく非教師ありデータ生成パイプラインは、効率的な編集者を学習させるために、高品質で多様な事実誤認・汚染ペアを生成できるか？
• RQ2 LLMが生成した汚染に基づいてファインチューニングされたコンパクトな編集者は、大規模モデルを用いたプロンプトベース編集法と比較して、正確性と速度の両面で優れているか？
• RQ3 ノイズ除去ベースのアプローチは、ドメイン固有の学習データを必要とせずに、多様なドメインやベンチマークで一般化できるか？
• RQ4 合成的汚染に基づいてトレーニングされたコンパクトな編集者の性能は、同じLLMをプロンプト編集に使用した場合と比較してどうか？

主な発見

• PURRは、Natural Questions、TriviaQA、WebQなどの複数のベンチマークで、大規模言語モデルを用いたプロンプトベース編集法と比較して帰属性能を向上させる。
• ベースラインのプロンプトベース編集法と比較して、平均して20〜30％の相対的改善が得られた。
• PURRはLLMベースの編集法と比較して最大100倍速く実行され、低遅延アプリケーションにおけるリアルタイム推論を可能にする。
• 汚染を生成するために使用したLLMよりも、ノイズ除去アプローチの性能が優れていることが示された。
• 誤差分析の結果、主な失敗モードは、不適切な証拠検索に起因しており、編集の欠陥によるものではないことが判明し、コアとなるノイズ除去メカニズムの堅牢性が裏付けられた。
• この手法は完全に非教師ありで一般化可能であり、トレーニング時にラベル付き編集データやペア証拠を一切必要としないため、多様なドメインへの展開が可能である。

(b) Using PURR. Given an ungrounded statement, we generate questions to search for relevant evidence which is then used to produce an edit.