[論文レビュー] Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings

Sarik Ghazarian, Johnny Tian-Zheng Wei+2 more|arXiv (Cornell University)|Apr 24, 2019

Topic Modeling参考文献 25被引用数 15

ひとこと要約

本稿では、RUBERメトリックフレームワーク内での静的単語埋め込みの代わりに文脈を考慮したBERT埋め込みを採用することで、オープンドメイン対話システムの自動評価を改善する。BERTの豊富な文脈表現を活用し、ネットワークアーキテクチャと損失関数を最適化することで、提案手法は元のRUBERよりも人間の評価と高い相関を示し、文脈を考慮した埋め込みが評価の正確性を顕著に向上させることを示している。

ABSTRACT

Despite advances in open-domain dialogue systems, automatic evaluation of such systems is still a challenging problem. Traditional reference-based metrics such as BLEU are ineffective because there could be many valid responses for a given context that share no common words with reference responses. A recent work proposed Referenced metric and Unreferenced metric Blended Evaluation Routine (RUBER) to combine a learning-based metric, which predicts relatedness between a generated response and a given query, with reference-based metric; it showed high correlation with human judgments. In this paper, we explore using contextualized word embeddings to compute more accurate relatedness scores, thus better evaluation metrics. Experiments show that our evaluation metrics outperform RUBER, which is trained on static embeddings.

研究の動機と目的

• BLEUのようなリファレンスベースメトリックが、多様で妥当な応答においてn-gramの重複率が低いことにより失敗するという限界を是正すること。
• 文脈を考慮した単語埋め込みを活用することで、文脈に応じた意味的意味をより良く捉えることにより、オープンドメイン対話システムの自動評価を向上させること。
• RUBERメトリックのうち、リファレンスなしコンponentを改善するために、静的word2vec埋め込みをBERT埋め込みに置き換えること。
• 文脈を考慮した埋め込みの有効な活用を最大化するためのアーキテクチャ的および学習目的の変更を調査すること。
• 人間のアノテーションに依存するコストの高い作業を減らす、より信頼性が高くスケーラブルで人間の評価と相関の高い評価メトリックを構築すること。

提案手法

• RUBERのリファレンスなしメトリックにおける静的word2vec埋め込みを、文脈を考慮したBERT埋め込みに置き換えることで、文脈内での単語表現の質を向上させる。
• 元のRUBERアーキテクチャに内蔵された双方向RNNを、平均または最大プーリングなどの単純なプーリング戦略に置き換えることで、BERT埋め込みからの文レベル表現を抽出する。
• 順序付け損失から、マルチレイヤーパーセプトロン（MLP）と交差エントロピー損失を用いた学習手法に切り替えることで、エンドツーエンド最適化を可能にする。
• 負例サンプリングを用いてモデルを学習する。各クエリに対して正例となる応答と複数の負例となる応答をペairingし、関連性スコアの区別を学習する。
• RUBERと同様に、同じリファレンス付きメトリックを用いる。このメトリックは、プールドされたBERT埋め込みを用いて生成応答とリファレンス応答の類似度を計算する。
• 単語埋め込み（word2vec 対 BERT）、文書表現手法（Bi-RNN 対 プーリング）、損失関数（順序付け損失 対 交差エントロピー）の3要因を2×2×2要因配置で要因分解実験を実施し、性能向上要因を特定する。

実験結果

リサーチクエスチョン

• RQ1 BERTのような文脈を考慮した埋め込みは、静的埋め込みと比較して、オープンドメイン対話システムの自動評価メトリックの性能向上に寄与するか？
• RQ2 Bi-RNNをプーリング層に置き換えるようなアーキテクチャ的変更は、BERTベースの評価モデルの有効性にどのように影響するか？
• RQ3 順序付け損失から交差エントロピー損失に切り替えることで、モデルの関連性スコア予測能力、特に人間の応答関連性評価の予測能力が向上するか？
• RQ4 BERT埋め込みは、自動メトリックと人間の応答品質評価との相関をどの程度向上させるか？
• RQ5 改善されたメトリックは、人間がアノテートした応答品質ラベルに依存せずに、高い性能を維持できるか？

主な発見

• BERT埋め込みと最適化されたアーキテクチャを用いた本手法は、人間の応答関連性評価を予測する点で、元のRUBERメトリックを上回る性能を示した。
• 静的word2vec埋め込みをBERT埋め込みに置き換えることで、リファレンスなしメトリックの相関性が人間のアノテーションと顕著に向上した。
• Bi-RNNの代わりに単純なプーリング戦略を用いることで、モデルの複雑さを軽減しつつ、同等またはより優れた性能が得られた。
• 学習目的を順序付け損失から交差エントロピー損失に切り替えることで、関連性あり／なしの応答を区別する能力が向上した。
• BERT埋め込みと交差エントロピー損失の組み合わせが、すべての実験設定において人間の評価との相関が最も高かった。
• 結果から、文脈を考慮した埋め込みが、人間の対話応答品質評価とより一致する豊富な意味的表現を提供することが示された。