[論文レビュー] Communication-based Evaluation for Natural Language Generation

Benjamin Newman, Reuben Cohn-Gordon+1 more|arXiv (Cornell University)|Sep 16, 2019

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本稿では、生成された発話が聞き手に意図した情報を効果的に伝えるかどうかを評価する通信ベースの自然言語生成（NLG）評価手法を提案する。 Rational Speech Acts（RSA）モデルを用いて、生成された発話が聞き手にどのように意図された意味を伝えるかを評価する。色の参照ゲームデータセット上で評価した結果、BLEU、ROUGE、METEOR、CIDERといった従来のn-gram一致指標よりも、人間の質の判断とより一致する結果を示した。これは、表面的なトークン一致ではなく、意味的・文脈的文脈に基づいた評価が、NLGの真の効果をよりよく反映していることを示している。

ABSTRACT

Natural language generation (NLG) systems are commonly evaluated using n-gram overlap measures (e.g. BLEU, ROUGE). These measures do not directly capture semantics or speaker intentions, and so they often turn out to be misaligned with our true goals for NLG. In this work, we argue instead for communication-based evaluations: assuming the purpose of an NLG system is to convey information to a reader/listener, we can directly evaluate its effectiveness at this task using the Rational Speech Acts model of pragmatic language use. We illustrate with a color reference dataset that contains descriptions in pre-defined quality categories, showing that our method better aligns with these quality categories than do any of the prominent n-gram overlap methods.

研究の動機と目的

• 標準的なn-gram一致指標（例：BLEU、ROUGE）と人間によるNLG品質評価の間にある不一致を是正すること。
• 語彙的類似性ではなく、言語の実用的使用に基づく評価フレームワークを構築すること。ここでの目的は、効果的なコミュニケーションの達成である。
• モデルに基づく聞き手のインフォームドアプローチが、従来の自動指標よりも人間の品質評価をよりよく予測できるかどうかを検証すること。
• 特に、発話の質が通信的成功さで定義される制御されたタスクベースの設定（具体的には色の参照ゲーム）でこの手法をテストすること。
• 通信ベースの評価がn-gram一致指標よりも人間がアノテートした品質カテゴリとより強く相関することを示すこと。

提案手法

• 聞き手が発話から話者の意図した意味をどのように推論するかをモデル化するため、Rational Speech Acts（RSA）モデルを用いる。これは弁証的推論をモデル化する。
• 事前知識と発話の解釈に基づき、3色の文脈において、与えられた発話がターゲットカラーを指している確率を推定する聞き手モデルを学習する。
• 生成された発話の後、聞き手がターゲットカラーについて持つ事後確率を測定することで、NLG出力を評価し、これを通信的成功さの代理指標とする。
• 人間がアノテートした3つの品質カテゴリ（記述的、曖昧、誤解を招く）を有するデータセットに対して、この聞き手モデルを適用し、発話をスコア化する。
• 人間の品質判断との相関分析を用いて、RSAに基づくスコアと従来のn-gram指標（BLEU、ROUGE、METEOR、CIDER）を比較する。
• 人間がアノテートした品質カテゴリを基準として、通信ベースの評価の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Rational Speech Actsモデルを用いた通信ベースの評価は、n-gram一致指標よりも人間の品質判断とより強く相関するか？
• RQ2 弁証的推論をシミュレートするモデルベースの聞き手は、タスク固有の文脈において、高品質と低品質のNLG出力を効果的に区別できるか？
• RQ3 複数の妥当な発話が許容される状況下で、BLEU や ROUGE といった従来の指標は、人間がアノテートした品質カテゴリとどれほど一致するか？
• RQ4 聞き手の信念形成を組み込むことで、表面的な語彙的一致を越えてNLGシステムの評価がどの程度改善されるか？
• RQ5 タスクベースで弁証的評価フレームワークを採用することで、人間のアノテーションに依存するコストを減らしつつ、人間の直感的品質認識と一致を保てるか？

主な発見

• Rational Speech Actsモデルを用いた通信ベースの評価は、テストされたすべてのn-gram一致指標よりも、人間がアノテートした品質カテゴリと顕著に高い相関を示した。
• n-gram指標の中でROUGEが人間の判断と最も強い相関を示したが、依然としてRSAベースの手法に劣っていた。
• BLEU、METEOR、CIDERは人間の品質評価と弱いから中程度の相関を示し、特に記述的発話と曖昧な発話を区別できなかった。
• RSAベースの手法は、記述的発話を高くスコア付けし、誤解を招く発話を低くスコア付けすることができ、人間の品質判断と密接に一致した。
• 結果から、弁証的推論モデルがNLG評価のための効果的でスケーラブルな代替手段として機能できることを示している。
• 本研究は、聞き手が意図された意味を正しく推論できるかどうか、すなわち通信的成功さに基づいてNLGを評価することが、語彙的一致に基づく評価よりも信頼性が高く意味のある評価をもたらすことを示している。