[論文レビュー] Auxiliary Tasks and Exploration Enable ObjectNav

Joel Ye, Dhruv Batra+2 more|arXiv (Cornell University)|Apr 8, 2021

Multimodal Machine Learning Applications参考文献 37被引用数 15

ひとこと要約

本論文では、補助タスクと探索報酬を組み込むことで、最先端の性能を達成するシンプルなCNN+RNNエージェントを提案する。セマンティックセグメンテーション、ゴール存在特徴、逆ダイナミクス予測を追加することで、エージェントは滑らかで次元数の少ない再帰的ダイナミクスを学習し、Habitat ObjectNavチャレンジにおいて24.5%の成功率と8.1%のSPLを達成した。これは先行研究比でそれぞれ37%および8%の相対的改善である。

ABSTRACT

ObjectGoal Navigation (ObjectNav) is an embodied task wherein agents are to navigate to an object instance in an unseen environment. Prior works have shown that end-to-end ObjectNav agents that use vanilla visual and recurrent modules, e.g. a CNN+RNN, perform poorly due to overfitting and sample inefficiency. This has motivated current state-of-the-art methods to mix analytic and learned components and operate on explicit spatial maps of the environment. We instead re-enable a generic learned agent by adding auxiliary learning tasks and an exploration reward. Our agents achieve 24.5% success and 8.1% SPL, a 37% and 8% relative improvement over prior state-of-the-art, respectively, on the Habitat ObjectNav Challenge. From our analysis, we propose that agents will act to simplify their visual inputs so as to smooth their RNN dynamics, and that auxiliary tasks reduce overfitting by minimizing effective RNN dimensionality; i.e. a performant ObjectNav agent that must maintain coherent plans over long horizons does so by learning smooth, low-dimensional recurrent dynamics. Site: https://joel99.github.io/objectnav/

研究の動機と目的

• 明示的な空間地図を用いずに、汎用的なエンドツーエンド学習エージェントがObjectGoal Navigationで最先端の性能を達成できるようにすること。
• 複雑で未知の環境において、vanillaなCNN+RNNエージェントの低いサンプル効率と過学習の問題に対処すること。
• 補助タスクと探索信号が、シンプルなアーキテクチャがObjectNavでマップベース手法を凌駕できるかどうかを検証すること。
• 再帰的ダイナミクスがエージェントの行動と失敗モード（特に記憶の欠落や混沌としたダイナミクス）に果たす役割を分析すること。
• 疎なObjectNav報酬に迅速に適応できるが、同時に探索能力を維持できる「テザー付きポリシー」手法を開発すること。

提案手法

• エージェントの入力に、エゴセントリックなセマンティックセグメンテーションと、ゴールオブジェクトがフレームのどれだけを占めているかを示す「セマンティックゴール存在（SGE）」特徴を追加する。
• 3つの補助タスクを導入する：逆ダイナミクス予測、将来のフレーム予測（CPC）、マップカバレッジ予測。これらは構造的な世界理解を促進する。
• 未探索領域を訪問するよう促す探索報酬を追加し、未知の環境におけるサンプル効率を向上させる。
• 2次的なポリシーを、オフポリシー更新を用いて疎なObjectNav報酬のみで学習させるテザー付きポリシー機構を実装。これにより、迅速な適応が可能になる。
• 主なポリシーは探索を、2次的なテザー付きポリシーはナビゲーションを担当する。2次ポリシーは主ポリシーの行動分布を介して動作する。
• プローブ技術を用いて再帰的ダイナミクスを分析し、訓練および異なる乱数シード間でのRNN状態の固定点解析により、記憶持続期間を推定する。

実験結果

リサーチクエスチョン

• RQ1 明示的な空間地図を用いずに、シンプルなCNN+RNNエージェントがObjectGoal Navigationで最先端の性能を達成できるか？
• RQ2 補助タスクは、身体的エージェントの再帰的ダイナミクスの安定性と一般化性能にどのように影響するか？
• RQ3 探索報酬を追加することで、未知の環境におけるサンプル効率と成功確率はどの程度向上するか？
• RQ4 テザー付きポリシー手法は、単一ポリシーの微調整と比較して、疎なObjectNav報酬への適応をどの程度改善できるか？
• RQ5 再帰的ダイナミクス（特に記憶持続期間と軌道の次元数）は、エージェントの失敗とパフォーマンスにどのような役割を果たすか？

主な発見

• 提案されたエージェントはHabitat ObjectNavチャレンジで24.5%の成功率と8.1%のSPLを達成し、先行研究比で成功率は37%、SPLは8%の相対的改善を示した。
• 補助タスクにより、エージェントのRNNの有効次元数が制限され、過学習が軽減され、滑らかで次元数の少ない再帰的ダイナミクスが得られた。
• エージェントは、滑らかなRNNダイナミクスを生み出す視覚的に単純なシーンを好む傾向があることが示され、安定した内部表現を好む行動的傾向が示唆された。
• 失敗モードの多くは、長時間にわたるホライズンでゴールや経路情報を追失する記憶の欠落に起因している。
• 特にCPCとCPの補助タスクにより、エージェントのRNN信念状態の記憶持続期間が短縮され、再帰的ダイナミクスの正則化が確認された。
• 疎なObjectNav報酬のみで学習されたテザー付きポリシーは、標準的な微調整を上回り、より迅速な適応と向上したサンプル効率を示した。