[論文レビュー] Beyond User Self-Reported Likert Scale Ratings: A Comparison Model for Automatic Dialog Evaluation

Weixin Liang, James Zou+1 more|arXiv (Cornell University)|May 21, 2020

Topic Modeling参考文献 60被引用数 7

ひとこと要約

本論文では、ノイズが多い自己報告型リッカート尺度評価を信頼できる比較ベースの判断に変換することで、自動対話評価を向上させる3段階のノイズ除去パイプライン、CMADEを提案する。自己教師付き表現学習、KNNベースのラベルスムージング、データシャープリーを用いたサンプルの刈り取りにより、CMADEは専門家がアノテートした対話ペアにおいて89.2%の精度と0.787のKappaを達成し、ベースラインを著しく上回る。

ABSTRACT

Open Domain dialog system evaluation is one of the most important challenges in dialog research. Existing automatic evaluation metrics, such as BLEU are mostly reference-based. They calculate the difference between the generated response and a limited number of available references. Likert-score based self-reported user rating is widely adopted by social conversational systems, such as Amazon Alexa Prize chatbots. However, self-reported user rating suffers from bias and variance among different users. To alleviate this problem, we formulate dialog evaluation as a comparison task. We also propose an automatic evaluation model CMADE (Comparison Model for Automatic Dialog Evaluation) that automatically cleans self-reported user ratings as it trains on them. Specifically, we first use a self-supervised method to learn better dialog feature representation, and then use KNN and Shapley to remove confusing samples. Our experiments show that CMADE achieves 89.2% accuracy in the dialog comparison task.

研究の動機と目的

• 実世界の対話システム（例：Amazon Alexa）で用いられる自己報告型リッカート尺度評価に伴う高いバイアスと分散を是正すること。
• ノイズの多いユーザー評価を信頼できる比較ベースの判断に変換することで、自動対話評価を向上させること。
• モデルの一般化性能を向上させるとともに、専門家の判断と整合性を高めるノイズ除去パイプラインを開発すること。
• 比較ベースの評価フレームワークが、リファレンスベースの指標や直接のユーザー評価を上回ることを実証すること。

提案手法

• まず、事前学習済みのBERTベースエンコーダーを用いて、自己教師付き学習により頑健な対話表現を学習する。
• 次に、学習済みの特徴空間上でKNNベースのラベルスムージングを適用し、自己報告評価のノイズを低減する。
• その後、モデル性能への寄与度に基づいて、低価値の訓練サンプルをデータシャープリーを用いて同定・削除する。
• クリーニングされたデータセットで微調整することで、ノイズの多いラベルへの過学習を回避し、一般化性能を向上させる。
• ノイズ除去済みデータを用いて、2つの対話応答のうちどちらが優れているかを予測するペairワイズ比較モデルを訓練する。
• 強い初期特徴表現を得るために、事前学習済み重みから初期化されたBERTベースの対話エンコーダーを用いる。

実験結果

リサーチクエスチョン

• RQ1 比較ベースの自動評価モデルは、オープンドメイン対話システムにおいて、BLEUなどのリファレンスベース指標を上回ることができるか？
• RQ2 ノイズの多い自己報告型リッカート尺度評価を効果的にノイズ除去することで、モデル性能を向上させることは可能か？
• RQ3 自己教師付き表現学習から始まり、データシャープリーで終わる段階的な3段階のノイズ除去パイプラインは、モデルの精度と頑健性を向上させるか？
• RQ4 データシャープリーは、対話評価におけるノイズの多い訓練サンプルを同定・削除するのにどの程度有効か？

主な発見

• CMADEは専門家がアノテートした対話ペアのテストセットにおいて、89.2%の精度と0.787のKappaを達成し、人的判断と強い整合性を示した。
• 3段階のパイプラインは、ノイズ除去を行わないモデルやランダムなデータ削除を用いたモデルを含む、すべてのベースラインを著しく上回った。
• ステージ1（自己教師付き表現学習）は極めて重要であり、BERT初期化が行われても、これを飛ばすと以降の段階での性能が著しく低下した。
• ステージ3におけるデータシャープリーによるノイズ除去は、前段のステージと組み合わせた場合に最も効果的であり、0.837から0.892の精度上昇をもたらした。
• 低シャープリー値のサンプルを削除するとKNN回帰器の性能が向上するが、ランダムな削除では性能が劣化するため、シャープリーに基づく刈り取りの有効性が裏付けられた。
• 開発セットを直接訓練データに追加するよりも、データシャープリーによるノイズ除去を用いる方が効果的であり、BERT-Pairwise+Devでは0.749の精度であったのに対し、CMADEでは0.892の精度を達成した。