[論文レビュー] SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation

Hang Yin, Xiuwei Xu+3 more|arXiv (Cornell University)|Oct 10, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

SG-Nav は、環境の文脈を表すオンライン階層的3次元シーングラフを用い、階層的チェーン・オブ・トゥークス・プロンプト戦略を通じて大規模言語モデル（LLM）による推論を可能にする、画期的なゼロショット3次元オブジェクトナビゲーションフレームワークを提案する。MP3D、HM3D、RoboTHORの全ベンチマークで、先行手法を10%以上上回る成功確率を達成するとともに、説明可能な意思決定とグラフベースの再認識メカニズムによる誤認識の是正を実現した。

ABSTRACT

In this paper, we propose a new framework for zero-shot object navigation. Existing zero-shot object navigation methods prompt LLM with the text of spatially closed objects, which lacks enough scene context for in-depth reasoning. To better preserve the information of environment and fully exploit the reasoning ability of LLM, we propose to represent the observed scene with 3D scene graph. The scene graph encodes the relationships between objects, groups and rooms with a LLM-friendly structure, for which we design a hierarchical chain-of-thought prompt to help LLM reason the goal location according to scene context by traversing the nodes and edges. Moreover, benefit from the scene graph representation, we further design a re-perception mechanism to empower the object navigation framework with the ability to correct perception error. We conduct extensive experiments on MP3D, HM3D and RoboTHOR environments, where SG-Nav surpasses previous state-of-the-art zero-shot methods by more than 10% SR on all benchmarks, while the decision process is explainable. To the best of our knowledge, SG-Nav is the first zero-shot method that achieves even higher performance than supervised object navigation methods on the challenging MP3D benchmark.

研究の動機と目的

• 既存のLLMベースのゼロショットオブジェクトナビゲーション手法が、 prompting に近隣オブジェクトのカテゴリに依存する一方で、環境の文脈を欠いているという点を是正すること。
• 階層的3次元シーングラフに空間的・構造的関係をエンコードすることで、ナビゲーションにおけるLLMの推論能力を向上させること。
• シーングラフの部分グラフを対象とした階層的チェーン・オブ・トゥークス・プロンプトにより、LLMの推論を構造化することで、意思決定の説明可能性を高めること。
• 部分グラフにわたる信頼性スコアの蓄積により、誤認識（特に偽陽性のゴール検出）を是正するグラフベースの再認識メカニズムを実装すること。
• 訓練を一切行わず、未観測の環境やオープンボリュームのゴールカテゴリに対しても、高い性能を発揮し、堅牢な一般化を実現すること。

提案手法

• 効率的なプロンプトベース手法を用いて、新たに検出されたオブジェクトおよび部屋を、既存のノードに密に接続することで、オンラインかつインクリメンタルに3次元階層的シーングラフを構築する。
• 長距離接続と短距離接続を区別することで、情報量の少ないエッジを pruning し、計算複雑度を制御する。
• シーングラフを部分グラフに分割することで、推論を局所化し、各部分グラフに対して階層的チェーン・オブ・トゥークス・プロンプトを可能にする。
• 部分グラフ推論から得られる補間確率スコアを用いてフロントゥワー選択をガイドし、説明が特定の部分グラフ推論に追跡可能であるようにする。
• 部分グラフからの信頼性スコアを蓄積することで、ゴールオブジェクト検出を検証し、偽陽性を拒否するグラフベースの再認識メカニズムを実装する。
• 2次元視覚言語モデルおよび視覚基盤モデルを活用し、リアルタイムに3次元インスタンスセグメンテーションを実行することで、シーングラフをオンラインで構築する。

実験結果

リサーチクエスチョン

• RQ1 単純なオブジェクトカテゴリプロンプトに比べ、階層的3次元シーングラフ表現は、ゼロショットオブジェクトナビゲーションにおけるLLM推論の質を向上させるか？
• RQ2 シーングラフの部分グラフにおける階層的チェーン・オブ・トゥークス・プロンプトは、意思決定の説明可能性とナビゲーション性能をどのように向上させるか？
• RQ3 グラフベースの再認識メカニズムは、偽陽性のゴール検出をどの程度是正でき、複雑な環境におけるロバストネスを向上させるか？
• RQ4 3次元シーングラフのインクリメンタルかつ効率的な構築方法は、豊かな空間的文脈を保持しつつ、リアルタイム性能をどのように維持するか？
• RQ5 このフレームワークは、MP3D などの挑戦的なベンチマークにおいて、ゼロショットおよび一部の教師ありナビゲーションベースラインを上回る性能を発揮できるか？

主な発見

• SG-Nav は MP3D ベンチマークで 78.4% の成功確率を達成し、以前の最先端のゼロショット手法を10%以上上回り、一部の教師あり手法でさえも上回った。
• HM3D および RoboTHOR においても、最も強力な先行ゼロショット手法と比較して、成功確率が10%以上向上した。
• 階層的チェーン・オブ・トゥークス・プロンプト戦略により、完全に説明可能なナビゲーション意思決定が可能となり、LLMの推論が特定の部分グラフに追跡可能であることが確認された。
• アブレーションスタディの結果、グループノードを削除すると性能が 1.1% 劣化し、部屋ノードを削除すると 0.7% 劣化した。これは構造的グルーピングの重要性を示している。
• 再認識メカニズムは、偽陽性のゴールオブジェクトを効果的に拒否し、誤認識に起因するナビゲーション失敗を低減した。
• 効率的なプロンプトベースのエッジ構築手法により、計算複雑度が新規ノード数に対して線形に抑えられ、リアルタイムでのシーングラフ更新が可能になった。