[論文レビュー] Chasing Ghosts: Instruction Following as Bayesian State Tracking

Peter Anderson, Ayush Shrivastava+3 more|arXiv (Cornell University)|Jul 3, 2019

Multimodal Machine Learning Applications参考文献 41被引用数 32

ひとこと要約

本論文は指示追従をセマンティック空間地図を伴うベイズ状態推定として定式化し、ゴール予測でLingUNetを上回り、ナビゲーション制約への過度な依存を用いずに信頼できる Vision-and-Language Navigation の結果を示す。

ABSTRACT

A visually-grounded navigation instruction can be interpreted as a sequence of expected observations and actions an agent following the correct trajectory would encounter and perform. Based on this intuition, we formulate the problem of finding the goal location in Vision-and-Language Navigation (VLN) within the framework of Bayesian state tracking - learning observation and motion models conditioned on these expectable events. Together with a mapper that constructs a semantic spatial map on-the-fly during navigation, we formulate an end-to-end differentiable Bayes filter and train it to identify the goal by predicting the most likely trajectory through the map according to the instructions. The resulting navigation policy constitutes a new approach to instruction following that explicitly models a probability distribution over states, encoding strong geometric and algorithmic priors while enabling greater explainability. Our experiments show that our approach outperforms a strong LingUNet baseline when predicting the goal location on the map. On the full VLN task, i.e. navigating to the goal location, our approach achieves promising results with less reliance on navigation constraints.

研究の動機と目的

• 部分的に観測可能な3D環境で、言語を視覚と行動に結びつけるエージェントの構築を動機づける。
• 指示からゴール位置を予測するためのベイズ状態推定フレームワーク（マッピング、フィルタリング、ポリシー）を提案する。
• 環境の幾何を表現するためにセマンティック空間地図を活用し、代替軌道について推論できるようにする。
• 強力なニューラルベースラインよりもゴール位置推定が向上し、広範なナビゲーション制約なしに信頼できる完全なVLN性能を示す。

提案手法

• セマンティック mappings を可能にするためにDepth出力を備えたMatterport3Dを拡張してセマンティックマッピングを可能にする。
• CNN特徴の深度認識投影を介して一人称視点から更新されるセマンティック空間地図 M_t を構築する。
• 指示由来の観測と行動に対応する潜在軌跡を追跡するため、マップセル上の微分可能なヒストグラムフィルタを実装する。
• 指示から潜在観測 o_t と行動 a_t を抽出するため、注意機構付きのシーケンス・ツー・シーケンスモデルを用いる。
• アクションとマップに依存する畳み込みベースのカーネルで運動をモデリングし、局所性と障害物認識を保証する。
• Bayes更新のために p(o_t | s_t, M) を計算する LingUNet を介した識別的で学習された観測モデルを採用する。
• 予測信念と真の軌跡の間のKL発散を最小化することでエンドツーエンドで訓練し、必要に応じて予測ゴールへ到達する反応的ポリシーを併用する。
• 予測ゴールへ向かってナビゲートするためにグローバルビューポイントグラフ上で動作するポリシーを提供する。

実験結果

リサーチクエスチョン

• RQ1 指示追従をセマンティック空間マップ上のベイズ状態推定として効果的に定式化できるか？
• RQ2 潜在軌跡の分布を明示的にモデル化することは、ニューラルベースラインと比較してゴール局在化とVLN性能を改善するか？
• RQ3 指示の実行の信念状態にエージェントの方位情報を含めることの影響は？
• RQ4 可微分なベイズフィルタと学習可能な運動および観測モデルは、ナビゲーショングラフに依存せずに競争力のあるVLN性能を可能にするか？

主な発見

• フィルタによるゴール予測 (x,y,theta) は、見た環境・未見環境を問わず LingUNet より高い頑健性を達成し、報告された指標で平均的な性能向上を示す。
• heading 情報を削除すると性能が低下し、指示の実行には方位情報の重要性を浮き彫りにする。
• 報告設定で、見知らぬ環境における R2R データセットでゴール予測アプローチが LingUNet のベースラインを上回る。
• 完全なVLN結果は、データ拡張や特別な事前学習を用いず、模倣学習だけで訓練された新しいモデルクラスに対して信頼できる性能を示し、テストサーバーで意味のある成功率とSPLを達成する。