[論文レビュー] How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for Token-level Evaluation Metrics

Prasanna Parthasarathi, Joëlle Pineau+1 more|arXiv (Cornell University)|Aug 24, 2020

Topic Modeling参考文献 66被引用数 5

ひとこと要約

本論文は、生成的対話システムの評価におけるトークンレベルの指標の代替として、検査タスクを厳密な代替手段として提案する。文脈理解を表面的な生成を超えてテストする決定論的で人間がアノテートしたタスクを設計することで、著者らは、BLEUスコアが優れているにもかかわらず、変換器（Transformers）モデルが文脈理解タスクにおいてRNNベースのモデルに劣ることを示し、現在の指標が捉えられていないモデル理解のギャップを浮き彫りにした。

ABSTRACT

Though generative dialogue modeling is widely seen as a language modeling task, the task demands an agent to have a complex natural language understanding of its input text to carry a meaningful interaction with an user. The automatic metrics used evaluate the quality of the generated text as a proxy to the holistic interaction of the agent. Such metrics were earlier shown to not correlate with the human judgement. In this work, we observe that human evaluation of dialogue agents can be inconclusive due to the lack of sufficient information for appropriate evaluation. The automatic metrics are deterministic yet shallow and human evaluation can be relevant yet inconclusive. To bridge this gap in evaluation, we propose designing a set of probing tasks to evaluate dialogue models. The hand-crafted tasks are aimed at quantitatively evaluating a generative dialogue model's understanding beyond the token-level evaluation on the generated text. The probing tasks are deterministic like automatic metrics and requires human judgement in their designing; benefiting from the best of both worlds. With experiments on probe tasks we observe that, unlike RNN based architectures, transformer model may not be learning to comprehend the input text despite its generated text having higher overlap with the target text.

研究の動機と目的

• 自動指標（例：BLEU、ROUGE）と人間の判断との間の相関が低い対話システムの評価問題を解決すること。
• 人間評価の限界を克服すること。人間評価は主観的であり、時間がかかり、情報が不十分なために結論が得にくい。
• 決定論的で解釈可能な評価フレームワークを開発し、モデルの言語理解能力を分離して測定すること。
• 生成的対話モデルにおけるアーキテクチャ的弱みを特定すること、特に優れた生成性能と弱い理解能力の間の乖離を明らかにすること。
• 表面的な流暢さとは無関係に、対話文脈を推論する能力に基づいてモデルを比較するベンチマークを提供すること。

提案手法

• エンティティ追跡、共参照解消、意図推論などの対話理解の特定の側面をテストする手作業で作成された検査タスクのセットを設計すること。
• 検査タスクを3段階の難易度に分類する：簡単（高いベースラインF1）、中程度（中程度のベースライン）、難しい（低いベースラインF1）、これにより体系的な比較が可能になる。
• MultiWOZデータセット上で、LSTM、HRED、BiLSTM、およびTransformerなどの複数の対話アーキテクチャを、これらの検査タスクを用いて訓練および評価すること。
• 検査タスク全体のF1スコアの集計値を包括的な評価指標として使用し、高いスコアがより良い文脈理解を示す。
• 検査タスク間でのモデルのパフォーマンスを比較して一般化能力やインダクティブバイアスを評価し、特に未学習の対話推論課題への対処能力を分析すること。
• 未学習モデルが検査タスクで示すパフォーマンスを、本質的な表現能力の代理として用い、ベースラインモデルですら苦戦するタスクを特定すること。

実験結果

リサーチクエスチョン

• RQ1 検査タスクは、自動指標の信頼性の高い決定論的代替手段として機能するか？
• RQ2 BLEUのような優れた生成モデルである変換器は、表面的な生成品質が高くても、なぜ対話文脈を理解できないのか？
• RQ3 RNNと変換器の例えを含む、異なるニューラルアーキテクチャは、構造化された理解タスクを解く能力においてどのように比較されるか？
• RQ4 現在の対話モデルアーキテクチャに根本的な制限を露呈する特定の検査タスクは存在するか？
• RQ5 検査タスクは、モデル理解の挑戦を引き出す能力に基づいて対話データセットをランク付けするために使用できるか？

主な発見

• 変換器モデルは、中程度の検査タスク（43.3% F1）と難しい検査タスク（24.4% F1）で、LSTMベースのモデル（それぞれ65.7%と44.4%）よりも顕著に低いパフォーマンスを示した。
• BLEUスコアが高かろうとも、変換器モデルはRNNベースのモデルよりも文脈理解が劣っており、生成品質と理解の間の乖離が示された。
• すべてのモデルが難しい検査タスクで苦戦しており、現在のアーキテクチャが深い対話理解に十分なインダクティブバイアスを備えていないことが示唆された。
• 検査タスクは、モデルが流暢な応答を生成しても、エンティティの追跡や共参照解消を正しく行えないことが明らかになった。
• 結果として、BLEUのようなトークンレベルの指標は、対話システムにおける真の言語理解の代理として不適切であることが示された。
• 本研究は、検査タスクがアーキテクチャ的弱みを効果的に特定し、対話理解に適したより良いインダクティブバイアスを持つモデルの開発を支援できることを示した。