[論文レビュー] RMM: A Recursive Mental Model for Dialog Navigation

Homero Roman Roman, Yonatan Bisk+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 45被引用数 14

ひとこと要約

この論文では、ナビゲーター・エージェントとガイド・エージェントが協働して質問・回答・ナビゲーション行動を生成するための、再帰的メンタルモデル（RMM）という新しいフレームワークを提案する。RMMは、目的までの進捗を報酬として強化学習を用いることで、未知の環境における一般化性能を向上させ、対話の整合性とナビゲーション成功確率の両面でベースラインを上回る。

ABSTRACT

Language-guided robots must be able to both ask humans questions and understand answers. Much existing work focuses only on the latter. In this paper, we go beyond instruction following and introduce a two-agent task where one agent navigates and asks questions that a second, guiding agent answers. Inspired by theory of mind, we propose the Recursive Mental Model (RMM). The navigating agent models the guiding agent to simulate answers given candidate generated questions. The guiding agent in turn models the navigating agent to simulate navigation steps it would take to generate answers. We use the progress agents make towards the goal as a reinforcement learning reward signal to directly inform not only navigation actions, but also both question and answer generation. We demonstrate that RMM enables better generalization to novel environments. Interlocutor modelling may be a way forward for human-agent dialogue where robots need to both ask and answer questions.

研究の動機と目的

• エージェントが質問・回答・ナビゲーション行動を共同で生成するエンドツーエンドで複数回の対話が可能なビジョンアンドランゲージナビゲーションの課題に対処する。
• 既存の研究が指示従いのみまたは一回の対話に限定しているのを補い、協働的な二エージェントフレームワークで質問生成と回答生成の両方をモデル化する。
• 対話相手の再帰的モデリングを組み込むことで、行動を実行する前に対話の結果をシミュレートすることにより、新規環境への一般化を向上させる。
• 目的までの進捗を報酬信号として強化学習を用い、エージェントが自身の対話行動がナビゲーション進捗に与える影響を推論できるようにする。
• 理論的マインド（mindreading）にインspiredされた再帰的メンタルモデリングが、単純なデータ拡張やオラクルベースラインよりも対話の整合性と効果性を高めることを示す。

提案手法

• ナビゲーター・エージェントが自身の行動を再帰的にシミュレートし、ガイド・エージェントがその質問にどのように応答するかをモデル化する再帰的メンタルモデル（RMM）を提案する。
• ガイド・エージェントも同様にナビゲーターの行動をシミュレートし、潜在的な回答に対するナビゲーションステップを予測する。
• 共通のポリシー・ネットワークに再帰的自己注意機構を用いて、対話相手の応答と行動をモデル化し、対話とナビゲーションの軌道を共同で計画可能にする。
• ナビゲーション、質問生成、回答生成を同時に最適化するため、目的までの進捗（ゴールまでの距離）を主な報酬信号として、エージェントをエンドツーエンドで訓練する。
• 質問のタイミングを固定のヒューリスティック（Nステップごと）にすることで、質問の意思決定と生成プロセスを分離し、C2、C3、C4に焦点を当てる。
• 生成ハイパーパramーターよりもアーキテクチャとトレーニングの差に起因する対話品質の差を保証するため、モデル間で同じサンプラーと初期化を用いる。

実験結果

リサーチクエスチョン

• RQ1 再帰的自己モデリングは、二エージェントのビジョンアンドランゲージナビゲーションタスクにおける対話の整合性とナビゲーション性能を向上させることができるか？
• RQ2 RMMは、データ拡張やオラクルベースラインと比較して、対話品質と未知環境への一般化性能においてどのように差をつけるか？
• RQ3 対話相手の心理状態をモデル化することで、エージェントが効果的な質問と回答を生成する能力がどの程度向上するか？
• RQ4 目的までの進捗を報酬信号として強化学習を用いることで、質問生成・回答生成・ナビゲーションの統合最適化が効果的に可能になるか？
• RQ5 対話結果の再帰的モデリングは、ゼロショットテスト環境において非再帰的または単一エージェントアプローチと比較して、より優れた一般化性能を示すか？

主な発見

• RMMエージェントは、長さペナルティやデコードトリックを一切使用しない状態で、データ拡張ベースラインよりもはるかに整合性が高く、詳細な対話を生成する。
• 未知の環境では、RMMは新しいレイアウトやターゲットオブジェクトの配置に対しても、非ゴールオブジェクトへの注意を避ける点で優れた一般化性能を示す。
• 質問生成の時点での目標進捗は、RMMモデルが8.8、データ拡張ベースラインが5.7であり、ナビゲーションを効果的に導く対話の質が優れていることを示している。
• 軌道の可視化から、RMMエージェントはベースラインと比較して、無駄なステップを踏む、または誤った経路を取るといった状況に陥りにくいことが分かった。
• CVDNデータセットにおける人間による対話アノテーションから、RMMが生成する対話はデータ拡張ベースラインよりも文脈的に関連性が高く、意味的に豊かであることが確認された。
• 再帰的自己モデリング機構により、エージェントは実行前に対話行動の結果をシミュレートでき、より効果的かつ効率的なナビゲーションが可能になった。