[論文レビュー] PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning

Santhosh Kumar Ramakrishnan, Devendra Singh Chaplot+3 more|arXiv (Cornell University)|Jan 25, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

PONIは、『どこを向くか？』を認識問題として扱い、上位図のセマンティックマップから教師付き学習で訓練されたポテンシャル関数ネットワークを用いて、相互作用を伴わないモジュラーなアプローチを提案する。この手法は、GibsonおよびMatterport3Dで最先端の性能を達成し、従来の最先端手法と比較して最大600倍少ない学習計算コストを実現する。

ABSTRACT

State-of-the-art approaches to ObjectGoal navigation rely on reinforcement learning and typically require significant computational resources and time for learning. We propose Potential functions for ObjectGoal Navigation with Interaction-free learning (PONI), a modular approach that disentangles the skills of `where to look?' for an object and `how to navigate to (x, y)?'. Our key insight is that `where to look?' can be treated purely as a perception problem, and learned without environment interactions. To address this, we propose a network that predicts two complementary potential functions conditioned on a semantic map and uses them to decide where to look for an unseen object. We train the potential function network using supervised learning on a passive dataset of top-down semantic maps, and integrate it into a modular framework to perform ObjectGoal navigation. Experiments on Gibson and Matterport3D demonstrate that our method achieves the state-of-the-art for ObjectGoal navigation while incurring up to 1,600x less computational cost for training. Code and pre-trained models are available: https://vision.cs.utexas.edu/projects/poni/

研究の動機と目的

• エンドツーエンド強化学習におけるObjectGoalナビゲーションの高い計算コストと低いサンプル効率を解決すること。
• 『どこを向くか？』を『どのようにナビゲートするか？』から分離し、前者を認識問題として扱うこと。
• 環境との相互作用を一切用いずに、静的セマンティックマップのみを用いて『どこを向くか？』のポリシーを学習可能にすること。
• モジュラーで非相互作用的な学習により、エムベデッドナビゲーションにおける一般化性能とサンプル効率を向上させること。
• 著しく低い学習計算コストでObjectNavにおいて最先端の性能を達成すること。

提案手法

• 部分的に埋められた上位図セマンティックマップから2つの補完的ポテンシャル関数を予測する、U-Netスタイルのエンコーダーデコーダーモデルであるポテンシャル関数ネットワークを提案する。
• ポテンシャル関数をマップの端縁における[0,1]-値関数として定義し、各位置にターゲットオブジェクトを発見する価値を表す。
• 未探索領域への探索を誘導するエリアポテンシャル関数と、ターゲットオブジェクトまでの地図距離（測地的距離）に基づくオブジェクトポテンシャル関数を用いる。
• インタラクティブな強化学習を避けるために、3次元アノテート済みセマンティックマップのパassiveデータセット上で教師付きでポテンシャル関数ネットワークを学習する。
• 訓練済みのポテンシャル関数ネットワークをモジュラーなナビゲーションフレームワークに統合し、組み合わせたポテンシャル関数のargmaxが次の見ることの方向を決定する。
• 部屋のレイアウト、オブジェクト-部屋関係、オブジェクト同士の近接性といった幾何学的およびセマンティック的ヒントを、ポテンシャル関数の予測に活用する。

Figure 1 : Potential functions for ObjectGoal Navigation with Interaction-free learning (PONI) . We introduce a method to decide ‘where to look?’ for an unseen object in indoor 3D environments. Our key insight is that this is fundamentally a perception problem that can be solved without any interact

実験結果

リサーチクエスチョン

• RQ1 ObjectGoalナビゲーションにおける『どこを向くか？』の意思決定は、環境との相互作用なしに効果的に学習可能か？
• RQ2 セマンティックマップ上で教師付き学習により『どこを向くか？』を認識問題として扱うことで、インタラクティブな強化学習と比較してより高いサンプル効率と低い学習コストを達成できるか？
• RQ3 探索とターゲットへの接近度に基づく補完的ポテンシャル関数は、未知の環境におけるナビゲーション性能を向上させられるか？
• RQ4 標準ベンチマークにおいて、相互作用を伴わない学習はエンドツーエンド強化学習と比較して一般化性能と計算効率の面で優れているか？
• RQ5 上位図におけるセマンティック的および幾何学的ヒントは、ナビゲーションのためのポテンシャル関数予測の正確性をどの程度向上させるか？

主な発見

• PONIはHabitat ObjectNavチャレンジのリーダーボードで最先端の性能を達成し、MP3D（test-standard）において4つの指標のうち3つ（SPL、SoftSPL、DTS）で先行する発表済み手法を上回った。
• Gibson（val）では86.5％の成功率と51.5％のSPLを達成し、先行のSoTAであるSemExpと比較して学習コストが7倍低い。
• Matterport3D（val）では58.2％の成功率と27.5％のSPLを達成し、先行のSoTAであるTHDAと比較して1@600×の学習計算コストで実現した。
• アブレーションスタディの結果、オブジェクトポテンシャル関数とエリアポテンシャル関数の両方が不可欠であることが確認され、いずれかを削除すると性能が著しく低下した。
• 真値の画像セグメンテーションを使用すると性能が顕著に向上し、セグメンテーションの誤りがPONIパイプラインにおける失敗の主な要因であることが示唆された。
• 本手法は新規シーンへの一般化性能が強く、シミュレーションから実世界への転送効果も高く、インタラクティブな強化学習にほとんど依存しない。

Figure 2 : Architecture for PONI: Our model consists of three components. The semantic mapper uses RGB-D and pose sensor readings to build an allocentric map $m_{t}$ of the world. The potential function network $\pi_{pf}$ uses the semantic map and the goal object category $o_{t}$ to predict the area