[論文レビュー] Sticking to the Facts: Confident Decoding for Faithful Data-to-Text Generation

Ran Tian, Shashi Narayan+2 more|arXiv (Cornell University)|Oct 19, 2019

Topic Modeling参考文献 72被引用数 48

ひとこと要約

本論文は、エンコーダ-デコーダモデルに対する信頼度ベースのデコードフレームワークを提案し、注意由来の信頼度スコアと適合したベース言語モデル、そして変分ベイズ学習目的を結合することで、データ→テキスト生成における幻覚を軽減する。

ABSTRACT

We address the issue of hallucination in data-to-text generation, i.e., reducing the generation of text that is unsupported by the source. We conjecture that hallucination can be caused by an encoder-decoder model generating content phrases without attending to the source; so we propose a confidence score to ensure that the model attends to the source whenever necessary, as well as a variational Bayes training framework that can learn the score from data. Experiments on the WikiBio (Lebretet al., 2016) dataset show that our approach is more faithful to the source than existing state-of-the-art approaches, according to both PARENT score (Dhingra et al., 2019) and human evaluation. We also report strong results on the WebNLG (Gardent et al., 2017) dataset.

研究の動機と目的

• 出力が元情報に忠実でない可能性があるデータ→テキスト生成における幻覚を動機づけて対処する。
• 注意機構を元情報とベース言語モデルに結びつけ、生成される各トークンの忠実性を評価する信頼度スコアを提案する。
• データから信頼度スコアを学習し、訓練中に自信のあるサブシーケンスを促進する変分ベイズ学習フレームワークを開発する。
• WikiBioとWebNLGで忠実性と流暢さを評価し、最新のベースラインと比較する。

提案手法

• 注意ベースのシグナル A_t とベース言語モデルの確率 P_B(y_t | y_<t) を結合する信頼度スコア C_t(y_t) を定義する。
• 分母に定数で正規化することで「注意しないこと」を許容し、RNNの隠れ状態入力から元情報を除外することで、ソース情報を含まないように注意機構を変更する。
• ソース関連入力の重みを低下させることでソフトテンプレートを学習する、適応可能なベース言語モデル RNN_B を導入する。
• Q(z|y,x) から自信のあるサブシーケンス Z をサンプリングして、信頼性が高く忠実なトークンを優遇する境界を最大化する変分ベイズ目的で訓練する；期待値を近似するためにモンテカルロ推定を用いる。
• 推論時にキャリブレーションと<null>トークン機構を用いて再ランク付けし自信のないトークンを抑制し、流暢さを損なうことなく精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 信頼度誘導デコード戦略は、流暢さを犠牲にすることなくデータ→テキスト生成における幻覚を減らせるか？
• RQ2 構造化ソースから忠実な生成を支援するために、注意機構と言語モデリングの構成をどう再設計すべきか？
• RQ3 変分ベイズフレームワークはデータからトークンレベルの忠実性を示す信頼できる信頼度スコアを学習できるか？
• RQ4 キャリブレーションと <null> トークン戦略は、流暢さを維持または向上させながら忠実性をさらに高めるか？
• RQ5 これらの手法は、ソースと参照の乖離度が異なるデータセット（WikiBio 対 WebNLG）全般で有効か？

主な発見

• 信頼度ベースのデコードアプローチは、WikiBioおよびWebNLGデータセットでベースラインと比べて忠実性（精度）と PARENT の F1 を高める。
• 信頼度スコアで生成をキャリブレーションするとトークン選択が改善され、困惑度を引き上げず、適切な精度でリコールを向上させることができる。
• 変分ベイズのサブシーケンスサンプリングは、自信がありソース支援を受けたトークンへ訓練を集中させ、ベース言語モデルは流暢さを保ちつつ忠実でない生成を減らすソフトテンプレートを学習する。
• <null> トークン戦略と推論時の長さペナルティは、リコールと精度のバランスを取り、流暢さを大幅に損なうことなく全体的な忠実な生成を向上させる。
• このアプローチは、デコード中にソースベクトルが除去されたときのトークンレベルの変化が大きく、ソース情報への依存度が高まることから、ソースへの感度を高める。