[論文レビュー] Learning Active Camera for Multi-Object Navigation

Peihao Chen, Dongyu Ji+6 more|arXiv (Cornell University)|Oct 14, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本稿では、多対象ナビゲーション中にエージェントが能動的にカメラを動かすことで環境認識とナビゲーション効率を向上させる、探索志向のカメラポリシー（EXPO）を提案する。ヒューリスティックルール、トップダウンの占有マップ、強化学習を組み合わせることで、カメラとナビゲーションの行動を調整し、MatterPort3DおよびGibsonデータセットの4つのベースラインにおいて一貫した性能向上を達成した。

ABSTRACT

Getting robots to navigate to multiple objects autonomously is essential yet difficult in robot applications. One of the key challenges is how to explore environments efficiently with camera sensors only. Existing navigation methods mainly focus on fixed cameras and few attempts have been made to navigate with active cameras. As a result, the agent may take a very long time to perceive the environment due to limited camera scope. In contrast, humans typically gain a larger field of view by looking around for a better perception of the environment. How to make robots perceive the environment as efficiently as humans is a fundamental problem in robotics. In this paper, we consider navigating to multiple objects more efficiently with active cameras. Specifically, we cast moving camera to a Markov Decision Process and reformulate the active camera problem as a reinforcement learning problem. However, we have to address two new challenges: 1) how to learn a good camera policy in complex environments and 2) how to coordinate it with the navigation policy. To address these, we carefully design a reward function to encourage the agent to explore more areas by moving camera actively. Moreover, we exploit human experience to infer a rule-based camera action to guide the learning process. Last, to better coordinate two kinds of policies, the camera policy takes navigation actions into account when making camera moving decisions. Experimental results show our camera policy consistently improves the performance of multi-object navigation over four baselines on two datasets.

研究の動機と目的

• 複雑な3次元環境において、固定カメラのエージェントが効率的に周囲を把握できない問題に対処すること。
• カメラを前方固定にせず、ナビゲーション意思決定と連携させることで、環境を能動的に探索するカメラポリシーを開発すること。
• ヒューリスティックルールとトップダウンマップ表現を組み込むことで、複雑なRGB-D観測における学習の難易度を低減すること。
• エンドツーエンドの学習により、既存のナビゲーション手法とスムーズに統合できるようにすること。

提案手法

• 探索済み・空き領域・占有領域を表すトップダウンの占有マップに、生のRGB-D観測を変換すること。
• 未探索領域に基づいて期待されるカメラ方向を推定するヒューリスティックモジュールを設計し、学習をガイドするルールベースのエキスパートとして機能させること。
• 占有マップ、ヒューリスティック方向、および次のナビゲーション行動を入力として受け取り、最適なカメラ移動を予測するニューラルネットワークポリシーを強化学習で訓練すること。
• 新規領域の探索を奨励する報酬関数を用いて、アクティブカメラ問題をマルコフ意思決定過程として定式化すること。
• 計画されたナビゲーション行動に条件づけたカメラ意思決定により、カメラポリシーとナビゲーションポリシーを連携すること。
• 既存のナビゲーションアーキテクチャ（例：MultiON、OccAnt）とEXPOカメラポリシーを統合し、多対象ナビゲーションタスクにおけるエンドツーエンド学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 固定カメラベースラインと比較して、アクティブカメラ移動が多対象ナビゲーション性能を顕著に向上させられるか？
• RQ2 疎な視覚観測を持つ複雑な3次元環境において、カメラポリシーを効果的に学習できるか？
• RQ3 ヒューリスティックルールとマップ表現は、アクティブビジョンにおけるサンプル複雑性をどれほど低減し、ポリシー学習を改善できるか？
• RQ4 異なるナビゲーションアーキテクチャやベンチマーク環境において、EXPOカメラポリシーはどれほど一般化できるか？
• RQ5 カメラポリシーは探索効率を向上させ、すべての目的オブジェクトをより速く発見できるか？

主な発見

• MatterPort3DデータセットにおけるOccAntベースラインにおいて、SPLが13.6から18.1に、PPLが20.5から25.4に向上した。
• 同じベースラインで、成功確率が18.39%から24.0%に、進捗率が28.4%から34.2%に上昇し、マップノイズに対して耐性があることが示された。
• 追加情報（マップ、ヒューリスティック、報酬）を備えた強化ベースラインではSPL=35.1、PPL=45.9、成功=48.0、進捗=63.2を達成したが、依然として完全なEXPOエージェントに劣っていた。
• 未知の環境探索において、同じ時間予算内に、固定カメラまたはランダムカメラベースラインと比較して、EXPOエージェントはより多くの目的オブジェクトを発見し、より広い領域を探索した。
• 可視化により、エージェントがナビゲーション中に未観測の目的（例：Goal-2およびGoal-3）を積極的にカメラ回転で検出しており、効率的な経路計画を可能にしていることが確認された。
• 失敗事例は補足資料で分析されており、地図ノイズや部分的観測の厳しい状況下でも、本手法が依然として有効であることが示された。