[論文レビュー] Data Distillation for Controlling Specificity in Dialogue Generation

Jiwei Li, Will Monroe+1 more|arXiv (Cornell University)|Feb 22, 2017

Topic Modeling参考文献 28被引用数 18

ひとこと要約

本稿では、一連のデータセットから、特定の応答の明確さ（specificity）レベルが異なる複数の対話生成モデルを訓練するためのデータドキュメンテーション手法を提案する。この手法では、反復的にモデルの最も一般的な出力に最も近い応答を削除することで、特定の応答を段階的に絞り込む。その後、強化学習（RL）エージェントが推論時において文脈に最も適したモデルを選択し、ベースラインモデルよりも質が高く、文脈に応じた応答を生成する。

ABSTRACT

People speak at different levels of specificity in different situations. Depending on their knowledge, interlocutors, mood, etc.} A conversational agent should have this ability and know when to be specific and when to be general. We propose an approach that gives a neural network--based conversational agent this ability. Our approach involves alternating between \emph{data distillation} and model training : removing training examples that are closest to the responses most commonly produced by the model trained from the last round and then retrain the model on the remaining dataset. Dialogue generation models trained with different degrees of data distillation manifest different levels of specificity. We then train a reinforcement learning system for selecting among this pool of generation models, to choose the best level of specificity for a given input. Compared to the original generative model trained without distillation, the proposed system is capable of generating more interesting and higher-quality responses, in addition to appropriately adjusting specificity depending on the context. Our research constitutes a specific case of a broader approach involving training multiple subsystems from a single dataset distinguished by differences in a specific property one wishes to model. We show that from such a set of subsystems, one can use reinforcement learning to build a system that tailors its output to different input contexts at test time.

研究の動機と目的

• 対話エージェントが文脈に応じて応答の明確さを変化させ、人間の会話行動を模倣できるようにすること。
• 明確さに関する明示的教師信号が存在しない状況で、特定の明確さを持つモデルを訓練する課題に対処すること。
• 手動での明確さラベル付けを必要とせず、1つのデータセットから明確さのスケールを生成する手法を開発すること。
• 入力文脈に基づいて推論時に最適な明確さレベルを動的に選択するため、強化学習を用いること。

提案手法

• データセット上で逐次的シーケンス・トゥ・シーケンスモデルを訓練し、その後、モデルの最も頻出する出力に意味的に最も近い応答を削除する。
• 複数ラウンドにわたり、訓練とドキュメンテーションのプロセスを繰り返し、各段階のモデルがより明確になるようにする。
• 元のデータの段階的な明確さの高いサブセットで訓練された生成モデルのプールを構築し、明確さのスケールを形成する。
• 強化学習エージェントを訓練し、入力ごとに文脈に最も適したモデルをプールから選択する。この際、応答の質と明確さを最適化する。
• 人間による評価と敵対的メトリクスを用いて、RLによって選択されたモデルとベースラインモデル、個々のドキュメンテーションモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 反復的データドキュメンテーションによって、1つのデータセットから明確さが段階的に向上する対話生成モデルのスケールを生成できるか？
• RQ2 強化学習エージェントが推論時において文脈に最も適した明確さレベルを効果的に選択できるか？
• RQ3 ドキュメンテーションなしで訓練されたモデルや固定明確さを持つモデルと比較して、RLによって選択されたモデルは、より高品質かつ多様な応答を生成するか？
• RQ4 明確さモデルの選択と、曖昧さや未知語の有無といった入力の特徴との相関関係は何か？

主な発見

• 人間による評価で、データドキュメンテーションの初期ラウンド（例：Iter2）で訓練されたモデルは、全データセットベースライン（Iter1）よりも高い応答品質を示した。
• 強化学習モデルは人間評価で60%の勝率を記録し、個別に訓練されたIter1およびIter2の両方を上回った。
• RLモデルは16%の入力に対してIter1モデル（最も明確さが低い）を選択した。これは主に、入力が曖昧または曖昧な場合に起因する。
• 入力が明確で、未知語が多い場合には、より明確なモデル（例：Iter3, Iter4）を好む傾向が見られ、文脈に応じた明確さ選択が実現していることが示された。
• RLモデルは8.8%の敵対的成否率と94.4%のマシン対ランダムの精度を達成し、ベースラインのIter1（5.8%成否）およびランダム選択よりも優れた性能を示した。