[論文レビュー] A Study on Dialogue Reward Prediction for Open-Ended Conversational Agents

Heriberto Cuayáhuitl, Seonghan Ryu+2 more|arXiv (Cornell University)|Dec 2, 2018

Topic Modeling参考文献 17被引用数 5

ひとこと要約

本稿では、長大な会話履歴（25文）を活用することで、予測された会話品質と人間によるアノテーションの間で強い相関（r=0.81）を達成するニューラル会話報酬予測モデルを提案する。18,000件のヒューマン・ヒューマン会話データに対してノイズを含むデータ拡張戦略を適用し、平均単語埋め込みを用いた回帰モデルを訓練した結果、短い履歴に比べて長期間の文脈窓が報酬予測性能を顕著に向上させることを示した。

ABSTRACT

The amount of dialogue history to include in a conversational agent is often underestimated and/or set in an empirical and thus possibly naive way. This suggests that principled investigations into optimal context windows are urgently needed given that the amount of dialogue history and corresponding representations can play an important role in the overall performance of a conversational system. This paper studies the amount of history required by conversational agents for reliably predicting dialogue rewards. The task of dialogue reward prediction is chosen for investigating the effects of varying amounts of dialogue history and their impact on system performance. Experimental results using a dataset of 18K human-human dialogues report that lengthy dialogue histories of at least 10 sentences are preferred (25 sentences being the best in our experiments) over short ones, and that lengthy histories are useful for training dialogue reward predictors with strong positive correlations between target dialogue rewards and predicted ones.

研究の動機と目的

• オープンエンド会話エージェントにおける信頼できる会話報酬予測のための最適な会話履歴長さを特定すること。
• 人間の会話品質判断と強く相関する、実用的で自動ラベル付けされた報酬関数を開発すること。
• さまざまな会話履歴長さがニューラル会話報酬予測モデルの性能に与える影響を評価すること。
• 長期間の会話履歴が、先行研究で用いられた短い文脈を上回る報酬予測性能を向上させることを実証的に示すこと。

提案手法

• 著者らは、他の会話からのランダムに抽出された応答にヒューマンの応答を置き換えることで、さまざまなレベルの会話品質を持つノイズを含む会話データセットを生成した。
• 各会話は、ノイズ（歪んだ文）の程度に基づいて自動的に数値報酬でラベル付けされ、値が高くなるほど人間らしい応答を示す。
• 入力シーケンスの長さを変化させた（1〜50文）、会話履歴の文の平均単語埋め込みを用いて、ニューラル回帰器を訓練した。
• モデルは、256次元の隠れ層、ReLU活性化関数、ドロップアウト（0.2）、Adam最適化関数、平均絶対誤差（MAE）損失を用いたフィードフォワードニューラルネットワークである。
• 訓練は80％のトレーニングデータと20％の検証データに分割し、10エポック後に早期停止を行い、各履歴長さに対して10回のランダム実行を繰り返して安定性を確保した。
• 性能評価は、テストセットにおける予測報酬と真の会話報酬のピアソン相関係数を用いた。

実験結果

リサーチクエスチョン

• RQ1 オープンエンド会話エージェントにおける信頼できる会話報酬予測のための最適な会話履歴長さは何か？
• RQ2 会話履歴長さが増加するにつれて、会話報酬モデルの予測性能はどのように変化するか？
• RQ3 ノイズを含む拡張済みで自動ラベル付けされたデータセットは、人間の判断と相関する会話報酬予測モデルを効果的に訓練できるか？
• RQ4 短い文脈に比べて、より長い会話履歴を用いることで、予測されたと実際の会話品質の間の相関が強くなるか？

主な発見

• 25文の会話履歴が、予測されたと真の会話報酬の間で最高のピアソン相関（r=0.81）を達成し、短い・長い文脈に比べて優れた性能を示した。
• 10文以上の履歴を持つ会話は、強い正の相関（r≥0.72）を示し、長期間の文脈が予測性能を顕著に向上させることを示した。
• 短い履歴（1〜3文）では弱い相関（r=0.09〜0.31）となり、正確な報酬推定に十分な文脈が不足していることが示唆された。
• 50文の履歴では、25文のときよりもわずかに低い相関（r=0.79）が得られたことから、非常に長い文脈では利得が減少するか、過学習の可能性があることが示された。
• 自動ラベル付けされたノイズを含むデータセットで訓練されたモデルは、優れた性能を示した。これは、報酬予測に合成ラベルを用いることの有効性を裏付けた。
• 先行研究が2〜3文の履歴のみを用いていたのに対し、本研究の結果は、高品質な報酬予測には長期間の文脈窓が不可欠であることを示しており、矛盾する結果となった。