[論文レビュー] On Evaluation of Embodied Navigation Agents

Peter Anderson, Anne Lynn S. Chang+9 more|arXiv (Cornell University)|Jul 18, 2018

Robotic Path Planning Algorithms参考文献 28被引用数 503

ひとこと要約

SPLを推奨する主要指標と、3D環境の内在的ナビゲーションの標準タスク形式、評価指標、一般化レジーム、標準ベンチマークのコンセンサス論文。

ABSTRACT

Skillful mobile operation in three-dimensional environments is a primary topic of study in Artificial Intelligence. The past two years have seen a surge of creative work on navigation. This creative output has produced a plethora of sometimes incompatible task definitions and evaluation protocols. To coordinate ongoing and future research in this area, we have convened a working group to study empirical methodology in navigation research. The present document summarizes the consensus recommendations of this working group. We discuss different problem statements and the role of generalization, present evaluation measures, and provide standard scenarios that can be used for benchmarking.

研究の動機と目的

• Embodied navigationの問題設定と目標タイプを明確化する（PointGoal, ObjectGoal, AreaGoal）。
• テスト環境への事前露出を定量化した厳密な一般化・探索レジームを提案する。
• 単一で解釈可能な主要評価指標（SPL）と補助的指標を推奨する。
• 連続空間シミュレータ、SI単位の報告、オープンソースのロボット実機展開を支持する。
• 再現性のある比較を可能にする複数データセットに跨る標準ベンチマークシナリオを提供する。

提案手法

• 三つの目標タイプ（PointGoal, ObjectGoal, AreaGoal）を定義し、座標・カテゴリ・画像・言語といった仕様モダリティを議論する。
• 一般化レジーム（前探索なし、事前記録済み探索、時間制限探索）を概説し、評価前の露出を定量化する。
• SPL（Success weighted by Inverse Path Length）を主要なナビゲーション指標として導入し、課題完了を理解させるためにDONEアクションを指定する。
• シミュレータで連続状態空間とSI単位を推奨し、実世界ロボットへの橋渡しのためにオープンソースツールを強調する。
• SUNCG、Matterport3D、AI2-THOR、Gibsonからの標準シナリオを訓練/検証/テスト分割とともに提供し、再現性のあるベンチマークを促進する。
• SPLと併せて補助指標の報告を促し、より全面的なパフォーマンス像を提供する。

実験結果

リサーチクエスチョン

• RQ1 研究間比較を支えるロバストで共通のタスク定義は何か。
• RQ2 新規または部分的に探索された環境への一般化をどう定量化・報告すべきか。
• RQ3 多様なシーンでナビゲーション性能を評価する適切で解釈可能な主要指標は何か。
• RQ4 現実世界ロボットへの移行を促進するにはシミュレーションプラットフォームをどう設計すべきか。
• RQ5 複数の室内環境での再現可能なベンチマーキングを支える標準シナリオは何か。

主な発見

• SPLを主要で解釈しやすいナビゲーション性能指標として提案し、DONEアクションとゴールへのゲオメトリック距離に基づく二値の成功信号を用いる。
• ゴールへの近接を評価する際にはユークリッド距離ではなく、環境構造を考慮したジオデシック距離を使用すべきである。
• エピソードの成功を考慮するにはDONEアクションを出す必要があり、エージェントがゴール完了を理解していることを保証する。
• シミュレーションベースのベンチマークでは連続状態空間とSI単位を使用して現実味と相互運用性を向上させるべきで、実機ロボットへの移行を容易にするオープンソース展開ツールの利用を推奨する。
• SUNCG、Matterport3D、AI2-THOR、Gibsonにわたる標準化されたシナリオを訓練/検証/テスト分割とともに提供し、再現性のある比較を可能にする。