[論文レビュー] Mind the Gap: Improving Success Rate of Vision-and-Language Navigation by Revisiting Oracle Success Routes

Chongyang Zhao, Yuankai Qi+1 more|arXiv (Cornell University)|Aug 7, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

この論文は、ビジョンアンドランゲージナビゲーション（VLN）における成功確率（SR）とオラクル成功確率（OSR）の間の長年の無視されたギャップを解決するために、事前に生成されたエージェントの軌道から正しいターゲット位置を特定するトラジェクトリーグラウディング手法を提案する。複数モジュールのトランスフォーマーモデルを用いて視点表現を特徴的に学習することで、R2R上でSRとOSRのギャップを最大9%から4.56%に縮小し、ナビゲーション方策の再トレーニングなしに顕著な向上を達成した。

ABSTRACT

Vision-and-Language Navigation (VLN) aims to navigate to the target location by following a given instruction. Unlike existing methods focused on predicting a more accurate action at each step in navigation, in this paper, we make the first attempt to tackle a long-ignored problem in VLN: narrowing the gap between Success Rate (SR) and Oracle Success Rate (OSR). We observe a consistently large gap (up to 9%) on four state-of-the-art VLN methods across two benchmark datasets: R2R and REVERIE. The high OSR indicates the robot agent passes the target location, while the low SR suggests the agent actually fails to stop at the target location at last. Instead of predicting actions directly, we propose to mine the target location from a trajectory given by off-the-shelf VLN models. Specially, we design a multi-module transformer-based model for learning compact discriminative trajectory viewpoint representation, which is used to predict the confidence of being a target location as described in the instruction. The proposed method is evaluated on three widely-adopted datasets: R2R, REVERIE and NDH, and shows promising results, demonstrating the potential for more future research.

研究の動機と目的

• ビジョンアンドランゲージナビゲーション（VLN）における成功確率（SR）とオラクル成功確率（OSR）の間の継続的な性能ギャップを、先行研究で無視されがちな点に焦点を当て、解消すること。
• 最先端のVLNエージェントがターゲット位置を通過するが、高いOSRを示しながらもその場で停止できない理由を調査すること。
• ナビゲーション方策の再トレーニングを伴わずに、市販のVLNモデルが生成する軌道から正しいターゲットノードを検出することでSRを向上させる手法を提案すること。
• R2R、REVERIE、NDHを含む複数のベンチマークで、ドメイン内およびゼロショット設定の両方において、その有効性を評価すること。

提案手法

• ターゲット位置検出を、自然言語指示に基づいて軌道内のターゲットフレーム（視点）を局所化する動画グランドイングタスクとして定式化する。
• エレベーショントランスフォーマー（E-Trans）によるパノラマ視点処理、軌道レベルの依存関係をモデル化する空間的時間的トランスフォーマー（S-T Trans）、およびターゲット信頼度スコアを予測するターゲット選択トランスフォーマー（T-Trans）から成るマルチモジュールトランスフォーマーのアーキテクチャを提案する。
• 複数の視点と時間ステップにわたる関連する視覚的・言語的キューに注目することで、軌道視点のコン act で特徴的な表現を学習する。
• クラス不均衡の処理と局所化精度の向上の両方を目的として、フォーカル損失とDice損失の組み合わせを用いて学習を実施し、アブレーションスタディにより損失設計の有効性を確認した。
• 既存のVLNエージェントの軌道に対して後処理モジュールとして適用することで、元のポリシーを変更せずにナビゲーションエラーを是正可能である。
• ゼロショット一般化性能と未学習スプリットでのパフォーマンス向上を図るため、900のHM3D環境からの追加データを用いて事前学習した。

実験結果

リサーチクエスチョン

• RQ1 最先端のVLNエージェントにおいて、高いオラクル成功率を示すにもかかわらず、なぜSRとOSRの間に顕著なギャップが存在するのか？
• RQ2 事前にトレーニングされたVLNエージェントが生成する軌道において、正しい位置に停止できなかったとしても、ターゲット位置を信頼性高く特定できるか？
• RQ3 自然言語指示とパノラマ観測の系列から、マルチモジュールトランスフォーマーを用いたアプローチが、正しいターゲット視点を検出するのにどの程度有効か？
• RQ4 補助的なトレーニングデータと損失関数の組み合わせが、ターゲットグランドイングモデルのパフォーマンスに与える影響は何か？

主な発見

• 提案手法は、R2Rのバリデーションで未学習スプリットにおいてSR-OSRギャップを7.96%から4.56%に縮小し、絶対的な改善で4.3%を達成した。
• エレベーショントランスフォーマー（E-Trans）がパフォーマンスに最も寄与し、次にターゲット選択トランスフォーマー（T-Trans）が続き、空間的時間的トランスフォーマー（S-T Trans）は最小ながらも有意義な影響を示した。
• オリジナルデータに加えてHM3D環境からの追加トレーニングデータを用いることで、SRが2.17%向上し、HM3Dデータのみで学習したモデルはR2R未学習スプリットで45.52%のSRを達成した。
• フォーカル損失とDice損失の組み合わせが最良のパフォーマンスを示し、BCE、フォーカル、BCE+Diceよりも優れていたことから、複数の予測の共同最適化が局所化精度を向上させることを示した。
• アブレーションスタディの結果、ハイパーパramータチューニングがパフォーマンスにほとんど影響しないことが判明し、損失重みの変動に対しても本手法が頑健であることが示された。
• 定性的な結果から、本手法はHOP、HAMT、DUETの軌道におけるナビゲーションエラーを効果的に是正し、エージェントが正しいターゲット位置で停止することを可能にした。