[論文レビュー] How To Not Train Your Dragon: Training-free Embodied Object Goal Navigation with Semantic Frontiers

Junting Chen, Guohao Li+3 more|arXiv (Cornell University)|May 26, 2023

Multimodal Machine Learning Applications被引用数 2

ひとこと要約

本論文では、視覚SLAM、セマンティック点群、空間的シーングラフを活用して、セマンティックに注意を払ったフロントティア探索を可能にする、トレーニング不要でモジュラーなパイプラインであるStructNavを提案する。幾何的フロントティアに言語的およびシーンベースの事前知識を統合するセマンティックフロントティアモジュールを用いることで、エンドツーエンドのトレーニングを必要とせずにGibsonベンチマークで最先端の性能を達成し、従来の学習依存のアプローチを上回る。同時に、セマンティックセグメンテーションが主なボトルネックであることが明らかになった。

ABSTRACT

Object goal navigation is an important problem in Embodied AI that involves guiding the agent to navigate to an instance of the object category in an unknown environment -- typically an indoor scene. Unfortunately, current state-of-the-art methods for this problem rely heavily on data-driven approaches, \eg, end-to-end reinforcement learning, imitation learning, and others. Moreover, such methods are typically costly to train and difficult to debug, leading to a lack of transferability and explainability. Inspired by recent successes in combining classical and learning methods, we present a modular and training-free solution, which embraces more classic approaches, to tackle the object goal navigation problem. Our method builds a structured scene representation based on the classic visual simultaneous localization and mapping (V-SLAM) framework. We then inject semantics into geometric-based frontier exploration to reason about promising areas to search for a goal object. Our structured scene representation comprises a 2D occupancy map, semantic point cloud, and spatial scene graph. Our method propagates semantics on the scene graphs based on language priors and scene statistics to introduce semantic knowledge to the geometric frontiers. With injected semantic priors, the agent can reason about the most promising frontier to explore. The proposed pipeline shows strong experimental performance for object goal navigation on the Gibson benchmark dataset, outperforming the previous state-of-the-art. We also perform comprehensive ablation studies to identify the current bottleneck in the object navigation task.

研究の動機と目的

• エンジニアリングに依存しやすく、デバッグが困難で、一般化性に欠ける深層学習ベースのアプローチの限界を解消すること。
• 古典的SLAMとセマンティック推論を組み合わせた、モジュラーでトレーニング不要なパイプラインを構築し、説明可能性と実世界への適用可能性を向上させること。
• 強化学習を用いずに、未確認の環境においてもセマンティック事前知識がフロントティア探索を効果的にガイドできるかを検証すること。
• オブジェクトナビゲーションにおける現在のセマンティック認識パイプラインのボトルネックを同定・分析すること。

提案手法

• 視覚SLAMを用いて2次元占有マップ、セマンティック点群、空間的シーングラフを生成することで、構造化されたシーン表現を構築する。
• 空間的シーングラフを通じて、事前学習済み言語モデルからの言語的事前知識と、トレーニングデータの統計からのシーン事前知識を幾何的フロントティアに統合する。
• 未探索のフロントティアをセマンティック知識を用いてスコアリングするセマンティックフロントティア（SemFrontier）モジュールを提案し、有望な探索ターゲットについての推論を可能にする。
• セマンティック点群とシーングラフを用いて、環境全体にわたりセマンティックを伝搬させ、オブジェクト検索の効率を向上させる。
• 有望なフロントティアが選択された後は、高速マーチングパスプランナを用いてポイントツーポイントナビゲーションを実行する。
• エンドツーエンドのトレーニングを避けるために、モジュラーなコンポONENTSに依存する：幾何学的認識にはSLAM、ラベル付けにはセマンティックセグメンテーション、探索にはルールベースの推論を用いる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要でモジュラーなアプローチが、エンドツーエンドの学習ベース手法を上回ることができるか？
• RQ2 幾何的フロントティアと組み合わせた場合、言語的およびシーンベースの事前知識は、フロントティア探索をどれほど効果的にガイドできるか？
• RQ3 セマンティックセグメンテーションの品質が、全体のナビゲーション性能に与える影響は何か？
• RQ4 構造化されたシーン表現は、エンぶデッドAIにおける一般化性と説明可能性を向上させることができるか？

主な発見

• StructNavはGibsonベンチマークで84.2%の成功率を達成し、膨大なトレーニングを要する従来の最先端手法を上回った。
• SPL（成功重み付きパス長）は0.563を達成し、前回の最先端手法を顕著に上回り、高い成功率と効率的なナビゲーションを両立していることが示された。
• アブレーションスタディの結果、セマンティックセグメンテーションの誤り率が50%に上昇すると、すべての指標で真値ベースラインの半分以下に性能が低下した。
• セグメンテーションラベルをランダムに50%ドロップさせても性能にほとんど影響がなかったため、SLAMパイプライン内の時間的統合がラベルノイズを緩和していることが示唆された。
• セマンティックセグメンテーションモデルが主なボトルネックであり、セグメンテーション誤り率が上昇するにつれて性能が急激に低下した。
• 言語的事前知識とシーン統計の活用により、トレーニングを伴わず効果的なセマンティック推論が可能であることが実証され、ハイブリッド古典的・学習アプローチの有効性が裏付けられた。