[論文レビュー] Auxiliary Tasks Speed Up Learning PointGoal Navigation

Joel Ye, Dhruv Batra+2 more|arXiv (Cornell University)|Jul 9, 2020

Multimodal Machine Learning Applications参考文献 49被引用数 6

ひとこと要約

本論文では、自己教師あり補助タスク（行動条件付き対照的予測コーディング、逆運動力学、時系列距離推定）を注意メカニズムを用いて統合することで、PointGoalナビゲーションにおけるサンプル効率の学習を加速する手法を提案する。本手法は、先行研究の最良手法（DD-PPO）と比較して5.5倍高速に収束し、700万フレームで0.55 SPLに到達する。これは、サンプル複雑性が5.5倍低減され、4000万フレームでSPLが0.16向上する結果となる。

ABSTRACT

PointGoal Navigation is an embodied task that requires agents to navigate to a specified point in an unseen environment. Wijmans et al. showed that this task is solvable but their method is computationally prohibitive, requiring 2.5 billion frames and 180 GPU-days. In this work, we develop a method to significantly increase sample and time efficiency in learning PointNav using self-supervised auxiliary tasks (e.g. predicting the action taken between two egocentric observations, predicting the distance between two observations from a trajectory,etc.).We find that naively combining multiple auxiliary tasks improves sample efficiency,but only provides marginal gains beyond a point. To overcome this, we use attention to combine representations learnt from individual auxiliary tasks. Our best agent is 5.5x faster to reach the performance of the previous state-of-the-art, DD-PPO, at 40M frames, and improves on DD-PPO's performance at 40M frames by 0.16 SPL. Our code is publicly available at https://github.com/joel99/habitat-pointnav-aux.

研究の動機と目的

• 写真のようにリアルな環境におけるPointGoalナビゲーションのための身体的エージェントの学習におけるサンプル効率と時間効率の向上を目的とする。
• 自己教師あり補助タスクが、Gibsonのような複雑で写真的にリアルな環境へ効果的に転送可能かどうかを調査すること。
• 複数の補助タスクを組み合わせた際の相互作用を解明し、損失の単純な加算が正の転送をもたらすのか、干渉を引き起こすのかを特定すること。
• 複数の補助タスクからの表現を効果的に統合するメカニズムを開発し、単純な組み合わせによる利得の減少を克服すること。
• 補助タスクがエージェントの内部信念モジュール内で、専門的で機能的な役割を果たすかどうかを分析すること。

提案手法

• エージェントは、エゴセントリック観測から自己教師あり信号を学習するための複数の補助タスクヘッドを備えた再帰的アーキテクチャを採用する。
• 3つのコアな補助タスクが使用される：行動条件付き対照的予測コーディング（CPC|A）、逆運動力学（ID）、時系列距離推定（TD）。
• 個々の補助タスクからの表現は、タスクの関連性に応じた動的重み付けを可能にする学習可能な注意メカニズムを用いて統合される。
• 注意メカニズムは主方策と同時にEnd-to-Endで学習され、マルチタスク表現の適応的統合が可能になる。
• アブレーションスタディでは、モジュールマスキングを用いて各補助タスクの全体的パフォーマンスへの機能的寄与を評価する。
• 本手法は、Gibsonデータセットを用いたHabitat PointNavベンチマークで評価され、SPLとサンプル効率が主な指標として用いられる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり補助タスクは、複雑で写真的にリアルな環境におけるPointGoalナビゲーションのサンプル効率を顕著に向上させることができるか？
• RQ2 複数の補助タスクを組み合わせた際、それらは正の転送をもたらすのか、あるいは干渉を引き起こすのか？
• RQ3 補助タスクの損失を単純に加算することは、利得の減少を引き起こすのか？ もしそうならば、注意に基づく統合がこれを克服できるか？
• RQ4 個々の補助タスクは、エージェントの内部信念モジュール内で、専門的で機能的な役割を果たすのか？
• RQ5 補助タスク表現の注意に基づく統合は、単一タスクや単純なマルチタスク学習と比較して、収束速度の向上とパフォーマンス向上をもたらすか？

主な発見

• 提案手法は、わずか700万フレームで0.55 SPLに到達し、ベースラインのDD-PPO手法（4000万フレーム）と比較して5.5倍の高速化を達成した。
• 4000万フレームの固定予算下で、最良のモデルはSPLを0.55から0.70に向上（相対的に27%向上）、DD-PPOより0.16SPLの向上を達成した。
• 最も優れた単一補助タスク（CPC|A-4）は、4000万フレームでSPLを0.55から0.66に向上（相対的に22%向上）させた。
• 複数補助タスクの単純な組み合わせ（CPC|A、ID、TD）はさらなる向上をもたらし、4000万フレームで0.70SPL、1200万フレームで0.55SPLを達成した。これは3.3倍の高速化に相当する。
• マスキング実験の結果、CPC|A-8がパフォーマンスに不可欠であることが判明した。除外するとSPLは0.712から0.233に低下し、専門的で特化した機能的役割を果たしていることが示された。
• 注意の可視化により、モジュールの活性化が環境の位置に応じてクラスタリングされていることが確認され、生物学的システムにおける場所細胞に類似した自己組織化の兆候が示された。