[論文レビュー] Towards Coherent and Engaging Spoken Dialog Response Generation Using Automatic Conversation Evaluators

Sanghyun Yi, Rahul Goel+7 more|arXiv (Cornell University)|Apr 30, 2019

Topic Modeling参考文献 45被引用数 15

ひとこと要約

本稿では、応答の整合性と関与度を測定することで、オープンドメインスプoken対話システムの品質を向上させる、ターン単位の自動対話評価者を提案する。再ランク付けと合成損失関数を用いた評価者フィードバックの統合により、自動評価および人間評価の両方でベースラインを大きく上回り、BLEU-4で103%の向上、人間評価では2.31の関与度スコアを達成した。

ABSTRACT

Encoder-decoder based neural architectures serve as the basis of state-of-the-art approaches in end-to-end open domain dialog systems. Since most of such systems are trained with a maximum likelihood~(MLE) objective they suffer from issues such as lack of generalizability and the generic response problem, i.e., a system response that can be an answer to a large number of user utterances, e.g., "Maybe, I don't know." Having explicit feedback on the relevance and interestingness of a system response at each turn can be a useful signal for mitigating such issues and improving system quality by selecting responses from different approaches. Towards this goal, we present a system that evaluates chatbot responses at each dialog turn for coherence and engagement. Our system provides explicit turn-level dialog quality feedback, which we show to be highly correlated with human evaluation. To show that incorporating this feedback in the neural response generation models improves dialog quality, we present two different and complementary mechanisms to incorporate explicit feedback into a neural response generation model: reranking and direct modification of the loss function during training. Our studies show that a response generation model that incorporates these combined feedback mechanisms produce more engaging and coherent responses in an open-domain spoken dialog setting, significantly improving the response quality using both automatic and human evaluation.

研究の動機と目的

• 最大尤度目的関数を用いて訓練されたエンドツーエンドニューラル対話システムにおける一般的な応答問題に対処すること。
• 各システム応答について、整合性と関与度に関する解釈可能なフィードバックを提供するターン単位の自動評価者を開発すること。
• 再ランク付けと損失関数の変更という2つの補完的メカニズムを通じて、評価者フィードバックを応答生成に統合すること。
• 自動評価および人間評価を用いて、オープンドメインスプoken対話設定における対話品質を向上させること。
• RedditやAlexa Prizeデータを含む、異なるデータセット間での評価者の一般化を示すこと。

提案手法

• 対話履歴の固定長ベクトル表現と、手作業で作成した特徴（例：ターン単位の文脈、語彙的重複）を入力として、教師あり対話評価者を用いる。
• 評価者は、人間がアノテートした対話データで訓練された、整合性と関与度の明確なスコアを出力する。
• フィードバックは再ランク付けを通じて統合される：ビームサーチで得られた上位n件の応答が、評価者出力に基づいて再スコアリングされ、最も整合性と関与度の高い応答が選択される。
• 合成損失関数が導入され、最大尤度損失と評価者スコアに基づく識別的損失を組み合わせることで、エンドツーエンドの訓練をガイドする。
• モデルはAlexa Prizeデータセットでファインチューニングされ、自動指標および人間のアノテーションの両方で評価される。
• 評価者は、ファインチューニングなしでRedditデータに対してもテストされ、人間同士の会話にも一般化できることを示した。

実験結果

リサーチクエスチョン

• RQ1 自動評価者が、オープンドメイン対話システムにおける整合性と関与度について、信頼性の高いターン単位のフィードバックを提供できるか？
• RQ2 再ランク付けを通じた自動評価者フィードバックの統合は、応答品質の向上にどの程度効果的か？
• RQ3 評価者フィードバックを用いて訓練損失を直接修正することで、再ランク付けのみの場合よりも応答品質がさらに向上するか？
• RQ4 評価者は、人間-コンピュータ対話と人間-人間対話の両方の対話ドメインに一般化できるか？
• RQ5 統合されたフィードバックメカニズムは、自動評価と人間評価の両方の指標をどの程度向上させるか？

主な発見

• 提案された自動評価者は人間評価と高い相関を示し、インターアノテーター間一致度で0.42のCohen’s Kappaを達成しており、主観的な人間の判断から信頼性の高い信号を抽出できることを示している。
• 再ランク付けと合成損失を組み合わせたS2S_RR_FTモデルは、人間評価で2.55の整合性スコアと2.31の関与度スコアを達成し、最高のパフォーマンスを示した。
• 再ランク付け機構のみでも、異なるコーパスで訓練されているにもかかわらず、RedditデータセットでBLEU-4が103%（3.9から7.9に）向上し、Distinct-2が82%向上した。
• 合成損失で訓練されたモデル（S2S_FT）は、ベースモデルと比較して、整合性スコアが3.4%、関与度スコアが20%向上した。
• 再ランク付けと合成損失の組み合わせ（S2S_RR_FT）は、個別の手法を上回り、相乗効果が示された。
• 評価者は、ファインチューニングなしでRedditデータに対しても効果的に一般化できており、ドメイン間での強靭性と転送性を示した。