[論文レビュー] Situational Fusion of Visual Representation for Visual Navigation

Bokui Shen, Danfei Xu+4 more|arXiv (Cornell University)|Aug 24, 2019

Multimodal Machine Learning Applications参考文献 41被引用数 17

ひとこと要約

本論文は、3次元幾何、意味的理解、深度など、複数のビジョンタスクからの多様な視覚的表現を統合するアクションレベルの統合フレームワークを提案する。Taskonomyからのタスクアフィニティを活用して表現選択を正則化することで、ImageNet事前学習ベースラインや特徴レベル統合と比較して、未学習環境におけるゼロショット一般化の性能とロバスト性が向上する。

ABSTRACT

A complex visual navigation task puts an agent in different situations which call for a diverse range of visual perception abilities. For example, to "go to the nearest chair", the agent might need to identify a chair in a living room using semantics, follow along a hallway using vanishing point cues, and avoid obstacles using depth. Therefore, utilizing the appropriate visual perception abilities based on a situational understanding of the visual environment can empower these navigation models in unseen visual environments. We propose to train an agent to fuse a large set of visual representations that correspond to diverse visual perception abilities. To fully utilize each representation, we develop an action-level representation fusion scheme, which predicts an action candidate from each representation and adaptively consolidate these action candidates into the final action. Furthermore, we employ a data-driven inter-task affinity regularization to reduce redundancies and improve generalization. Our approach leads to a significantly improved performance in novel environments over ImageNet-pretrained baseline and other fusion methods.

研究の動機と目的

• 多様な視覚的外観やレイアウトを示す未学習環境において、視覚ナビゲーションエージェントのゼロショット一般化を向上させること。
• エンドツーエンドの強化学習エージェントが学習環境に過剰適合するという限界を、多様なビジョンタスクからの構造的事前知識を組み込むことで解決すること。
• 状況に応じて適応的に視覚的表現を統合するメカニズムを構築し、単一のブラックボックスポリシーに依存しないこと。
• Taskonomyからのデータ駆動型タスク間アフィニティを用いて、視覚的表現間の冗長性を低減し、一般化性能とロバスト性を向上させること。
• アクションレベル統合により、表現ノイズやサブシステム障害に対してもモデルのロバスト性を高めること。

提案手法

• 多様なビジョンタスク（例：意味的セグメンテーション、深度推定、消滅点検出など）から得られる各視覚的表現に対して、アクション予測器を訓練する。
• すべての表現からの予測値をアクションレベルで統合し、アクション候補を最終アクションに統合するための適応的重みを学習する。
• Taskonomyのアフィニティ行列を用いてタスク間アフィニティ正則化を適用し、冗長な表現の選択をペナルティ化するとともに、補完的な表現の選択を促進する。
• 各ブランチが異なる視覚的表現を処理し、候補アクションを出力するマルチブランチネットワークアーキテクチャを採用する。
• ナビゲーション成功を最適化するために、模倣学習と内在的報酬を組み合わせた深層強化学習を用いて、システム全体をエンドツーエンドで訓練する。
• 表現損失（入力の欠落や破損など）下でのロバスト性を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 多様なビジョンタスクからの視覚的表現を統合することで、視覚ナビゲーションにおけるゼロショット一般化が向上するか？
• RQ2 表現障害やノイズに対して、アクションレベル統合は特徴レベル統合を上回るロバスト性を示すか？
• RQ3 タスク間アフィニティ正則化により、視覚的表現間の冗長性が低減され、ポリシーの一般化性能が向上するか？
• RQ4 3次元幾何、意味的理解、低レベルのキューなど、どのような種類の視覚的表現（例）がナビゲーション成功に最も寄与するか？
• RQ5 部分的または破損した表現入力下で、統合モデルの性能はいかがなっているか？

主な発見

• タスク間アフィニティ正則化を施したアクションレベル統合モデルは、ImageNet事前学習ベースラインや特徴レベル統合手法と比較して、未学習のGibson環境における成功確率が顕著に高いことを確認した。
• ユークリッド距離推定と表面法線推定の表現が、最も優れた個別表現として評価され、ナビゲーションにおける3次元幾何的キューの重要性が浮き彫りになった。
• 意味的セグメンテーションおよびその他の意味的表現が高く評価され、ターゲット局所化におけるオブジェクトレベル理解の価値が裏付けられた。
• アクションレベル統合は優れたロバスト性を示した：表現の50％が破損または欠落しても、依然として意味のある性能を維持しており、特徴レベル統合を上回った。
• ノイズや欠落した表現入力下でも、モデルは強力な性能を維持しており、サブシステム障害に対する耐性があることが示された。
• タスク間アフィニティ正則化により、より補完的な表現が選択され、冗長性が低減され、一般化性能が向上した。