[論文レビュー] What makes a good conversation? How controllable attributes affect human judgments

Abigail See, Stephen Roller+2 more|arXiv (Cornell University)|Feb 22, 2019

Speech and dialogue systems参考文献 26被引用数 28

ひとこと要約

本稿では、繰り返し、明確さ、応答関連性、質問の提起といった低レベルの対話属性を制御することで、マルチターン対話の質がどのように向上するかを調査している。条件付き学習と重み付きデコードを用いることで、著者らはこれらの属性のバランスが人間による評価における会話の魅力と質を著しく向上させることを示し、より多くの学習データを必要とせずに最先端の性能に達している。

ABSTRACT

A good conversation requires balance -- between simplicity and detail; staying on topic and changing it; asking questions and answering them. Although dialogue agents are commonly evaluated via human judgments of overall quality, the relationship between quality and these individual factors is less well-studied. In this work, we examine two controllable neural text generation methods, conditional training and weighted decoding, in order to control four important attributes for chitchat dialogue: repetition, specificity, response-relatedness and question-asking. We conduct a large-scale human evaluation to measure the effect of these control parameters on multi-turn interactive conversations on the PersonaChat task. We provide a detailed analysis of their relationship to high-level aspects of conversation, and show that by controlling combinations of these variables our models obtain clear improvements in human quality judgments.

研究の動機と目的

• マルチターン対話における人間の会話の質に関する判断に、どの低レベルの対話属性が最も影響を与えるかを特定すること。
• 繰り返し、明確さ、質問の提起といった属性を制御することで、全体的な対話の質と認識される魅力が向上するかどうかを調査すること。
• 制御可能な生成手法が、大規模データに依存せずに最先端の性能を達成できるかどうかを評価すること。
• 繰り返しや一貫性の欠如といったシステム的欠陥を検出するために、マルチターン評価が不可欠であることを示すこと。
• 魅力的さと人間らしさといった、異なる会話の質の間のトレードオフと、それらが制御可能な属性とどのように関係するかを探索すること。

提案手法

• 一般用途の2つの制御手法を採用した：条件付き学習（制御特徴を用いた学習）と重み付きデコード（推論時のみに制御を適用）。
• 4つの主要な属性を制御した：繰り返し（繰り返しペナルティによる）、明確さ（レア語の重み付けによる）、応答関連性（文脈アテンションによる）、質問の提起（質問トークンの重み付けによる）。
• PersonaChatデータセットを用いて大規模な人間評価を実施し、細分化された会話的側面と全体の質を測定した。
• マルチターンインタラクティブな設定を採用し、属性制御が複数のやり取りにわたる会話の流れ、一貫性、ユーザーの関与度に与える影響を評価した。
• A/Bテストを実施し、クラウドワーカーを用いた対比較により、興味深さや聞きやすさといった主観的指標を比較した。
• 複数の会話的側面を同時に最適化するために制御パラメータを統合し、バランスの取れたチューニングによってトレードオフを回避した。

実験結果

リサーチクエスチョン

• RQ1 繰り返し、明確さ、応答関連性、質問の提起といった個々の制御可能な属性が、マルチターン対話の質に関する人間の判断にどのように影響を与えるか？
• RQ2 全体の会話の質と魅力を最大化するための、これらの属性の最適なバランスは何か？
• RQ3 条件付き学習と重み付きデコードによる低レベル属性の制御が、学習データの増加なしに人間による評価の質を著しく向上させられるか？
• RQ4 興味深さ、聞きやすさ、好奇心といった異なる会話の質が、特定の属性制御とどのように相関するか？
• RQ5 モデルが魅力的さと人間らしさの両面で人間と同等の性能を達成する程度はどの程度か、そしてこれは評価指標にどのような含意をもたらすか？

主な発見

• 質問の提起率が65.7％（z=7）のとき、魅力的さが最大となり、繰り返し制御ベースライン（50.0％）と人間のゴールデータ（28.8％）を上回った。
• 明確さの制御（希少語の強調）により、A/Bテストで興味深さが著しく向上し、すべての明確さ制御モデルがベースラインより興味深く評価された。
• 繰り返し、明確さ、質問の提起の3つの属性を最適に制御したモデルは、人間レベルの魅力的さスコア（5.0満点中3.70）を達成し、より少ないデータでNeurIPS ConvAI2 優勝エントリと同等の性能を示した。
• 最良のモデルは、魅力的さで3.70／5.0、意味が通るかで3.41／5.0、聞きやすさで3.55／5.0のスコアを達成し、複数の次元で優れたパフォーマンスを示した。
• 高い魅力的さを達成したにもかかわらず、人間らしさスコアは高くならず（5.0満点中3.12）、魅力的で人間らしい応答は等価ではないことが示された。
• 複数の属性を同時に制御することで、単一属性の制御よりも明確な改善が得られ、会話的要素のバランスの重要性が裏付けられた。