[論文レビュー] End-to-end optimization of goal-driven and visually grounded dialogue systems

Florian Strub, Harm de Vries+4 more|arXiv (Cornell University)|Mar 15, 2017

Speech and dialogue systems参考文献 26被引用数 32

ひとこと要約

本稿では、自然言語質問を用いて画像内の対象物を特定する『GuessWhat?!』タスクを活用し、視覚的に根拠付けられた、目的志向型対話システムを学習するエンド・ツー・エンドの深層強化学習（DRL）フレームワークを提案する。大規模なヒューマン・ツー・ヒューマン対話データセット上でポリシー勾配エージェントを訓練することで、明示的な報酬形状なしに一貫性があり、根拠に基づき、かつ効率的な対話戦略を学習し、教師ありベースラインと比較してタスク完了率が10%向上した。

ABSTRACT

End-to-end design of dialogue systems has recently become a popular research topic thanks to powerful tools such as encoder-decoder architectures for sequence-to-sequence learning. Yet, most current approaches cast human-machine dialogue management as a supervised learning problem, aiming at predicting the next utterance of a participant given the full history of the dialogue. This vision is too simplistic to render the intrinsic planning problem inherent to dialogue as well as its grounded nature, making the context of a dialogue larger than the sole history. This is why only chit-chat and question answering tasks have been addressed so far using end-to-end architectures. In this paper, we introduce a Deep Reinforcement Learning method to optimize visually grounded task-oriented dialogues, based on the policy gradient algorithm. This approach is tested on a dataset of 120k dialogues collected through Mechanical Turk and provides encouraging results at solving both the problem of generating natural dialogues and the task of discovering a specific object in a complex picture.

研究の動機と目的

• 対話システムにおける教師あり学習の限界、特にタスク指向対話における長期的計画性と文脈の根拠付けをモデル化できない点を是正すること。
• 実際のヒューマン・ツー・ヒューマン対話データを用いて、マルチモーダルで目的志向のタスクを最適化するエンド・ツー・エンドの強化学習フレームワークを構築すること。
• 事前に定義されたテンプレートやスロットフィルリング構造に依存せずに、効果的で根拠に基づき、かつ効率的な質問戦略を学習できるように対話エージェントを可能にすること。
• タスク完了率、対話の整合性、および未観測の対象物や画像への一般化性能の観点から、システムの性能を評価すること。

提案手法

• 自然言語質問を生成するために、エンコーダ・デコーダアーキテクチャを用いたシーケンス・ツー・シーケンスニューラルネットワークを採用する。
• タスク完了報酬に基づいてポリシーを最適化するため、REINFORCEポリシー勾配アルゴリズムを用いて深層強化学習エージェントを訓練する。
• Mechanical Turkを介して収集された15万件のヒューマン・ツー・ヒューマン対話データセットから構築されたシミュレーテッド環境を用い、DRLエージェントのオンライン学習を可能にする。
• エージェントは、視覚的シーン内のターゲットオブジェクトを段階的に絞り込む関連性があり根拠に基づいた質問を学習することで、タスク成功を最大化するように訓練される。
• 学習プロセスには、サンプリングとグリーディデコード戦略による探索が含まれ、性能は人間アノテーションによる成功指標で評価される。
• 自動指標（新規対象物および画像における正答率）と生成された対話シーケンスの定性的分析を用いて、システムの評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 教師あり微調整を対話履歴のみに依存せずに、深層強化学習エージェントは一貫性があり、目的志向的で、視覚的に根拠付けられた対話を学習できるか？
• RQ2 マルチモーダルで目的志向のタスク指向対話タスクにおいて、エンド・ツー・エンドDRLは教師あり学習ベースラインと比較して、タスク完了精度と対話戦略の質においてどのように異なるか？
• RQ3 DRLエージェントは、余分なか、ノイジーな質問を避けるために、最適なタイミングで質問を停止する能力をどの程度学習できるか？
• RQ4 未観測の画像や対象物への一般化において、DRLエージェントは教師ありベースラインと比較して、より効率的で多様な語彙を発展させるか？
• RQ5 エージェントは、人間の対話戦略と整合する形で、空間的およびカテゴリー的ヒント（例：'それは人ですか？'、'左にありますか？'）を効果的に使用できるか？

主な発見

• REINFORCEベースのDRLエージェントは、テストセットにおけるタスク完了正答率が62.0%に達し、教師ありベースライン（45.0%）と比較して10%向上し、ビームサーチ（53.0%）と比較しても9%向上した。
• 未観測の対象物において、REINFORCEエージェントは63.2%の正答率を達成し、同じテストセットでベースライン（46.4%）とビームサーチ（53.4%）を顕著に上回った。
• DRLエージェントは平均4.1質問で対話を停止するよう学習しており、明示的な報酬形状なしに効果的な対話長制御が可能であることを示している。
• REINFORCEエージェントは、教師ありベースライン（2,893語）と比較して、よりコンパクトな語彙（1,194語）を使用しており、一般化性能の向上と冗長性の低減を示唆している。
• 定性的分析の結果、DRLエージェントは『それは人ですか？』や『左にありますか？』といった、より整合性があり、根拠に基づき、文脈的に関連のある質問を生成しているのに対し、教師ありベースラインは繰り返し質問を発生させたり、非整合なシーケンスを生成する傾向にあった。
• ビームサーチベースラインは、長さ正規化された対数尤度バイアスのため、対話の停止を効果的に実行できなかったが、DRLモデルからのサンプリングベースのデコードは、対話の適切なタイミングでの終了に成功しており、ポリシーが適切な時期に停止するよう学習していることが示された。