[論文レビュー] ObjectNav Revisited: On Evaluation of Embodied Agents Navigating to Objects

Dhruv Batra, Aaron Gokaslan+6 more|arXiv (Cornell University)|Jun 23, 2020

Multimodal Machine Learning Applications参考文献 18被引用数 129

ひとこと要約

本論文は ObjectNav の評価・ embodiment・環境に関する合意形成の推奨を提供し、Habitat および RoboTHOR 2020 チャレンジでの具体的な適用を詳述する。

ABSTRACT

We revisit the problem of Object-Goal Navigation (ObjectNav). In its simplest form, ObjectNav is defined as the task of navigating to an object, specified by its label, in an unexplored environment. In particular, the agent is initialized at a random location and pose in an environment and asked to find an instance of an object category, e.g., find a chair, by navigating to it. As the community begins to show increased interest in semantic goal specification for navigation tasks, a number of different often-inconsistent interpretations of this task are emerging. This document summarizes the consensus recommendations of this working group on ObjectNav. In particular, we make recommendations on subtle but important details of evaluation criteria (for measuring success when navigating towards a target object), the agent's embodiment parameters, and the characteristics of the environments within which the task is carried out. Finally, we provide a detailed description of the instantiation of these recommendations in challenges organized at the Embodied AI workshop at CVPR 2020 http://embodied-ai.org .

研究の動機と目的

• ObjectNav (物体へのナビゲーション) の公平な比較を可能にするための、精密な評価基準を定義する。
• ObjectNav で使用されるエージェントの embodiment（アクション、観測）と環境の特徴を明確にする。
• 現実的な設定で ObjectNav をベンチマークするための適切なデータセット、3D 環境、プラットフォームを推奨する。
• チャレンジで使用される実装を詳述することにより、ObjectNav 研究の一貫性と体系的なベンチマーキングを促進する。

提案手法

• ObjectFinding and Evaluation, Embodiment, and Environments を含む構造化された ObjectNav タスク定義を提案する。
• ObjectNav の成功基準（ Intentionality、Validity、Proximity、Visibility）を定義し、既知の問題点について議論した ObjectNav-SPL 指標を提示する。
• 離散化されたアクションと現実的なセンサーを用いた embodiment デザインを推奨し、完全なロボットの力学は避けつつ計画の難易度を維持する。
• 大規模でフォトリアリスティックな 3D スキャン（Matterport3D、Gibson、AI2-THOR/RoboTHOR）と物体クラスベースの目標（例：椅子、テーブル）の使用を推奨する。
• Habitat 2020 および RoboTHOR 2020 チャレンジでこれらの推奨をどのように具体化するかを、エージェントの仕様、センサーセット、フェーズ構造を含めて説明する。

実験結果

リサーチクエスチョン

• RQ1 多様な embodiment と環境に跨る、堅牢で公正な ObjectNav 評価プロトコルとは何か？
• RQ2 ObjectNav の成功を、物体へ到達する真のナビゲーション能力を反映するようにどのように定義すべきか？
• RQ3 現実性と扱いやすい研究ベンチマークのバランスを最もよく取る embodiment および観測設定はどれか？
• RQ4 ObjectNav 研究にとって現実的で移植性のあるベンチマークを提供する環境と物体クラスはどれか？
• RQ5 チャレンジ（Habitat と RoboTHOR）は、これらの推奨を一貫したベンチマークのためにどのように運用化できるか？

主な発見

• 定義された成功ゾーン内で、Intentionality、Validity、Proximity、Visibility の複数基準からなる成功定義を提案する。
• SPL の限界を指摘：失敗を差別化しない、分散が大きい、旋回に対するペナルティなし、データセット横断の比較の問題点；将来の新しい指標を求める。
• 離散化されたアクション空間と現実的なセンサー（RGB-D、GPS+Compass）を推奨し、全ロボット動力学は不要。
• フォトリアリスティックな 3D スキャン（Matterport3D、Gibson、AI2-THOR/RoboTHOR）と物体クラス目標、さまざまな室内環境の使用を推奨する。
• Habitat 2020 の具体的な適用例（シーン/物体選択、エージェント仕様、チャレンジ段階）と RoboTHOR 2020 の適用例（シミュレーションから現実への設定、段階、評価基準）を提供する。
• 既知の衝突ダイナミクスの問題（滑り）と解決策（滑りを無効にする）を文書化し、シミュレーションでの“カンニング”を防ぐ。