[論文レビュー] Listen, Interact and Talk: Learning to Speak via Interaction

Haichao Zhang, Haonan Yu+1 more|arXiv (Cornell University)|May 28, 2017

Speech and dialogue systems被引用数 6

ひとこと要約

本論文では、教師からの自然言語フィードバックを用いて、共同模倣と強化学習を組み合わせたインタラクティブで文脈に即した言語学習フレームワークを提案する。会話中に文レベルの指導と報酬信号を統合することで、構成的で分布外の設定において強力なゼロショット一般化と知識転送を達成し、模倣学習のみや強化学習のみのベースラインを上回る性能を発揮する。

ABSTRACT

One of the long-term goals of artificial intelligence is to build an agent that can communicate intelligently with human in natural language. Most existing work on natural language learning relies heavily on training over a pre-collected dataset with annotated labels, leading to an agent that essentially captures the statistics of the fixed external training data. As the training data is essentially a static snapshot representation of the knowledge from the annotator, the agent trained this way is limited in adaptiveness and generalization of its behavior. Moreover, this is very different from the language learning process of humans, where language is acquired during communication by taking speaking action and learning from the consequences of speaking action in an interactive manner. This paper presents an interactive setting for grounded natural language learning, where an agent learns natural language by interacting with a teacher and learning from feedback, thus learning and improving language skills while taking part in the conversation. To achieve this goal, we propose a model which incorporates both imitation and reinforcement by leveraging jointly sentence and reward feedbacks from the teacher. Experiments are conducted to validate the effectiveness of the proposed approach.

研究の動機と目的

• 静的データセットの監視ではなく、対話による相互作用を模倣することで、人間の言語習得を再現する文脈に即した言語学習フレームワークの開発。
• エージェントが発話する言語を生成し、教師からのフィードバック（訂正、確認、励まし）によって改善する仕組みの実現。
• 対話中に文のフィードバックと報酬信号を併用することで、言語学習における一般化と転送性能の向上。
• 訓練中に遭遇していない物体-場所の組み合わせへの一般化能力の評価。
• 記述的フィードバックから得た知識を質問への回答に転用できるかの検証。

提案手法

• モデルは二重学習メカニズムを用いる：正しい発話を模倣するための模倣学習と、肯定的・否定的報酬信号を最適化するための強化学習。
• エージェントは会話形式の教師と相互作用し、質問や発話に対して応答を生成し、言語的フィードバックと報酬信号の両方を受ける。
• フィードバックには訂正（例：'北にはアボカドがある'）、確認（例：'はい'）、否定的フィードバック（例：'いいえ、オレンジは西にある'）が含まれる。
• 文の訂正に対する教師あり学習と、報酬に基づく最適化のための方策勾配法を統合したハイブリッド学習目的関数を採用。
• 注意機構を用いて、応答生成時にエージェントがどの部分のシーンに注目しているかを可視化し、解釈可能性を向上。
• 実験は2つの設定で実施：構成的一般化（新しい物体-場所ペア）と知識転送（訓練中にのみ説明された物体に関する質問に答える）。

実験結果

リサーチクエスチョン

• RQ1 静的データセットの監視ではなく、対話的フィードバックによってエージェントは自然言語を習得できるか？
• RQ2 模倣学習と強化学習を併用することで、単独で用いる場合と比較して言語習得がどのように向上するか？
• RQ3 訓練中に遭遇していない物体-場所の組み合わせに対して、エージェントはどの程度一般化できるか？
• RQ4 記述的フィードバック（例：'西にはオレンジがある'）から得た知識を、訓練時に未確認の物体に関する質問に転用できるか？
• RQ5 除外された物体や組み合わせを含むゼロショット設定でも、モデルの性能が維持されるか？

主な発見

• 提案手法は、構成的一般化と知識転送の両設定において、純粋な模倣学習および純粋な強化学習のベースラインを上回る性能を発揮した。
• 除外された設定（訓練中に登場しなかった物体-場所ペアのみをテスト）においても、モデルは一貫した性能を維持し、強力な一般化能力を示した。
• 訓練中に見つけていない{物体, 位置}の組み合わせに対しても、モデルは正しく一般化しており、概念的学習の強さを示している。
• 訓練中に得た記述的フィードバック（例：'西にはオレンジがある'）を基に、テスト時に同じ物体に関する質問に正しく答えられ、効果的な知識活用が確認された。
• 注意マップから、エージェントが応答生成時に教師のフィードバックと整合した関連する視覚的要素に正しく注目していることがわかった。
• 特に知識転送のシナリオにおいて、ゼロショット会話設定で高い成功確率を達成した。