[論文レビュー] Embodied Visual Recognition

Jianwei Yang, Zhile Ren+5 more|arXiv (Cornell University)|Apr 9, 2019

Multimodal Machine Learning Applications参考文献 63被引用数 21

ひとこと要約

本稿では、遮蔽された物体の視覚認識を向上させるために、3次元環境内で能動的に移動するエージェントを対象とした新しいタスク、身体的視覚認識（EVR）を紹介する。著者らは、能動的検出およびセグメンテーションを向上させる戦略的移動方策を学習するモデルであるEmbodied Mask R-CNNを提案し、被動的ベースラインを上回る性能を発揮するとともに、最短経路とは異なる経路を学習し、一貫した物体の視認サイズを維持する。

ABSTRACT

Passive visual systems typically fail to recognize objects in the amodal setting where they are heavily occluded. In contrast, humans and other embodied agents have the ability to move in the environment, and actively control the viewing angle to better understand object shapes and semantics. In this work, we introduce the task of Embodied Visual Recognition (EVR): An agent is instantiated in a 3D environment close to an occluded target object, and is free to move in the environment to perform object classification, amodal object localization, and amodal object segmentation. To address this, we develop a new model called Embodied Mask R-CNN, for agents to learn to move strategically to improve their visual recognition abilities. We conduct experiments using the House3D environment. Experimental results show that: 1) agents with embodiment (movement) achieve better visual recognition performance than passive ones; 2) in order to improve visual recognition abilities, agents can learn strategical moving paths that are different from shortest paths.

研究の動機と目的

• 身体的行動（能動的移動）が、遮蔽され、現実に似た3次元環境における視覚認識にどのように改善をもたらすかを調査すること。
• 物体分類、能動的局所化、能動的セグメンテーションを含む、遮蔽下での視覚認識を評価する統一されたベンチマークの構築。
• 部分的に見えている物体の認識を向上させるために、最短経路を越えて戦略的な移動を学習するエージェントの訓練。
• 認識とナビゲーション方策を統合的に学習するフレームワークの設計。共有の監視信号を用いてエンドツーエンドで訓練することで、被動モデルとの公平な比較を可能にする。
• 複雑なシーンにおいて、単なる接近性ではなく、戦略的移動が、頑健な能動的認識に不可欠であることを示すこと。

提案手法

• 提案されたEmbodied Mask R-CNNは、エージェントの移動に伴う連続的観測からの視覚特徴を蓄積するため、再帰的ネットワークをMask R-CNNに拡張したものである。
• 方策ネットワークは、現在および過去の視覚特徴を入力とし、移動（例：前進、回転、左/右移動）を予測することで、目的指向ナビゲーションを可能にする。
• 段階的訓練戦略を採用：まず静的画像上で認識ヘッドを事前学習し、その後、模倣学習および強化学習を用いて、モデル全体を微調整する。
• エージェントは、後続の移動によって得られた情報を用いて最初のフレームでの予測を行うように訓練され、時間的特徴蓄積が可能になる。
• 環境にはHouse3Dが使用され、エージェントは遮蔽されたターゲットオブジェクトの近くに初期化され、認識性能（分類、能動的バウンディングボックス、能動的マスク）に基づいて報酬が与えられる。
• 被動モデルと同一の監視信号を用いて訓練されるため、同じテストセット上で公平な比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 能動的移動は、単一の画像からの被動的認識と比較して、遮蔽された物体の視覚認識性能を顕著に向上させるか？
• RQ2 視覚認識最適化を目的とした際、エージェントは最短経路とは異なる移動戦略を学習するか？
• RQ3 移動中に一貫した物体の視認サイズを維持することは、認識性能の向上に寄与するか？
• RQ4 統合的に訓練された認識と方策ネットワークは、認識とナビゲーションを別々のタスクとして扱うモデルを上回る性能を発揮するか？
• RQ5 明示的な模倣なしに、効果的でエキスパートでない移動方策を視覚認識のために学習することは可能か？

主な発見

• 身体的行動を有するエージェントは、同じ監視信号で訓練された被動モデルと比較して、物体分類、能動的局所化、能動的セグメンテーションのすべてのタスクで顕著に優れた性能を達成する。
• 学習された方策は、最短経路とは根本的に異なる移動経路を生成し、しばしば後退運動と安定した視認距離をとる。
• 学習された方策を用いたエージェントは、ターゲットオブジェクトとの距離をほぼ一定に保ち、フレーム間で一貫した物体サイズを維持することで、認識の安定性が向上する。
• 学習された方策における行動の分布は、前進移動が最小限であり、後退および回転移動が頻発しているため、より良い視認統合のための戦略的再配置が行われていることが示唆される。
• エージェントは、隠れた領域を露わにするために能動的に移動することで、遮蔽されたオブジェクトの完全な形状と意味的特徴を認識する能力を獲得し、能動的認識の価値を実証した。
• アブレーションスタディにより、認識と方策の統合的訓練が不可欠であることが確認され、分離した訓練では最適な性能に到達しないことが示された。