[論文レビュー] A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation

Tianyu Liu, Yizhe Zhang+5 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用数 14

ひとこと要約

この論文では、摂動を加えたウィキペディアのテキストとクラウドソーシングによるアノテーションを用いて、自由形式のテキスト生成における参照なし、トークンレベルの誤報検出ベンチマーク「HaDes」を紹介する。本研究では、参照に依存しない細粒度の誤報を検出する新たなタスクを提案し、反復的なモデルインザループによるアノテーションと、約11,000件のインスタンスを用いた包括的なベースラインモデルにより、生成中のリアルタイム検出を可能にする。

ABSTRACT

Large pretrained generative models like GPT-3 often suffer from hallucinating non-existent or incorrect content, which undermines their potential merits in real applications. Existing work usually attempts to detect these hallucinations based on a corresponding oracle reference at a sentence or document level. However ground-truth references may not be readily available for many free-form text generation applications, and sentence- or document-level detection may fail to provide the fine-grained signals that would prevent fallacious content in real time. As a first step to addressing these issues, we propose a novel token-level, reference-free hallucination detection task and an associated annotated dataset named HaDes (HAllucination DEtection dataSet). To create this dataset, we first perturb a large number of text segments extracted from English language Wikipedia, and then verify these with crowd-sourced annotations. To mitigate label imbalance during annotation, we utilize an iterative model-in-loop strategy. We conduct comprehensive data analyses and create multiple baseline models.

研究の動機と目的

• 生成の際の基準となる参照がしばしば入手不可能であるため、自由形式のテキスト生成における参照なし、細粒度の誤報検出の欠如に対処すること。
• 生成中に前後の文脈のみを用いて誤報とされるトークンを特定することで、オンライン生成時のリアルタイム誤報検出を可能にすること。
• クラウドソーシングによるアノテーションにおけるラベルの不均衡を踏まえても、バランスが取れ、高品質なデータセットを構築すること。
• 将来的なリアルタイム誤報緩和システムの開発を支援するため、特徴ベースおよび事前学習済みモデルを用いた初期ベースラインを確立すること。
• NLGシステムにおけるオフラインの事後分析とオンラインのリアルタイム干渉の両方をサポートするベンチマークを提供すること。

提案手法

• 英語版ウィキペディアのセグメントを摂動させることで、誤報コンテンツの現実的な訓練例を生成する。
• 反復的なモデルインザループ戦略を用いてクラウドソーシングを支援し、アノテーション品質の向上と誤報検出におけるラベルの不均衡の是正を図る。
• 各スパンを「誤報」または「誤報でない」と分類する二値分類として、トークンレベルの分類タスクとしてこのタスクを定式化する。
• オフライン（双方向の文脈）とオンライン（前方の文脈のみ）の2つの設定を設計し、実世界の生成シナリオを模擬する。
• モデルが提供する提案を用いて、人間のアノテーターによる作業を通じて、ウィキペディアから約11,000件のインスタンスを収集・アノテートする。
• HaDesデータセット上で、特徴ベースのモデルとファインチューニング済み事前学習モデルを含む複数のベースラインモデルを訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 自由形式のテキスト生成に対して、参照なし、トークンレベルの誤報検出タスクを効果的に定式化し、アノテートすることが可能か？
• RQ2 データセット作成段階で、クラウドソーシングによる誤報アノテーションにおけるラベルの不均衡をどのように是正できるか？
• RQ3 自由形式のテキスト生成における誤報スパンの主な言語的および事実的特徴は何か？
• RQ4 異なるモデルアーキテクチャは、提案されたトークンレベルの誤報検出ベンチマークでどのように性能を発揮するか？
• RQ5 参照なしの検出モデルは、オンライン生成中に誤報をどの程度リアルタイムに検出できるか？

主な発見

• HaDesデータセットには、摂動に基づくデータ収集戦略を用いて抽出された、約11,000件の誤報および非誤報スパンのアノテート済みインスタンスが含まれる。
• 反復的なモデルインザループによるアノテーションアプローチは、データセットのアノテーション品質を顕著に向上させるとともに、ラベルの不均衡を軽減した。
• 特徴ベースおよびファインチューニング済み事前学習モデルを含むベースラインモデルは、トークンレベルの誤報検出タスクで測定可能な性能を達成し、初期ベンチマークを確立した。
• データセットは、自由形式のテキストにおける誤報がしばしば微細で局所的であり、通常はトークンレベルでの事実の不一致や説得力のない主張を含むことを示している。
• ベンチマークのオフラインおよびオンライン設定は、双方向の文脈が利用可能な場合、文脈に配慮したモデルがより高い正確性で誤報を検出できることを示している。
• 結果から、参照が利用できない状況においても、トークンレベルの検出がリアルタイムの干渉に実用的かつ価値があることが示唆される。