[논문 리뷰] SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation

Hang Yin, Xiuwei Xu외 3명|arXiv (Cornell University)|2024. 10. 10.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

SG-Nav는 환경의 맥락을 표현하기 위해 온라인 계층적 3D 시나리오 그래프를 사용하고, 계층적 사고 체인 프롬프팅 전략을 통해 LLM 기반 추론을 가능하게 하는 새로운 제로샷 3D 객체 탐색 프레임워크를 제안한다. 이는 MP3D, HM3D, RoboTHOR에서 기존 방법보다 10퍼센트 이상 성공률 향상을 이룩하며, 설명 가능한 결정을 내리고 그래프 기반 재인식 메커니즘을 통해 인지 오류를 수정함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a new framework for zero-shot object navigation. Existing zero-shot object navigation methods prompt LLM with the text of spatially closed objects, which lacks enough scene context for in-depth reasoning. To better preserve the information of environment and fully exploit the reasoning ability of LLM, we propose to represent the observed scene with 3D scene graph. The scene graph encodes the relationships between objects, groups and rooms with a LLM-friendly structure, for which we design a hierarchical chain-of-thought prompt to help LLM reason the goal location according to scene context by traversing the nodes and edges. Moreover, benefit from the scene graph representation, we further design a re-perception mechanism to empower the object navigation framework with the ability to correct perception error. We conduct extensive experiments on MP3D, HM3D and RoboTHOR environments, where SG-Nav surpasses previous state-of-the-art zero-shot methods by more than 10% SR on all benchmarks, while the decision process is explainable. To the best of our knowledge, SG-Nav is the first zero-shot method that achieves even higher performance than supervised object navigation methods on the challenging MP3D benchmark.

연구 동기 및 목표

• 기존 LLM 기반 제로샷 객체 탐색 방법이 주로 근처 객체 카테고리에 의존해 프롬프팅을 수행함에 따라 환경 맥락이 부족한 문제를 해결하기 위해.
• 계층적 3D 시나리오 그래프에 공간적 및 구조적 관계를 인코딩하여 LLM의 탐색에서의 추론 능력을 향상시키기 위해.
• 시나리오 그래프의 부분 그래프를 기반으로 계층적 사고 체인을 통해 LLM 추론을 체계화함으로써 설명 가능한 의사결정을 가능하게 하기 위해.
• 부분 그래프를 통해 신뢰도 점수를 누적시켜 목표 객체 탐지 오류—특히 가짜 양성 목표 탐지—를 수정하기 위해.
• 학습 없이도 높은 성능을 달성하여 예측 불가능한 환경과 오픈 범주 목표 카테고리에 대해 강력한 일반화 능력을 확보하기 위해.

제안 방법

• 효율적인 프롬프트 기반 방법을 사용해 새로 감지된 객체와 실내 공간을 기존 노드에 고밀도로 연결함으로써 온라인으로 점진적인 계층적 3D 시나리오 그래프를 구축하기 위해.
• 장거리 연결과 단거리 연결을 구분함으로써 정보가 적은 간선을 제거하여 계산 복잡도를 제어하기 위해.
• 시나리오 그래프를 부분 그래프로 분할하여 추론를 국소화하고 각 부분 그래프에 대해 계층적 사고 체인 프롬프팅을 가능하게 하기 위해.
• 부분 그래프 추론에서 유도된 보간 확률 점수를 활용해 전면 선택을 안내하고, 설명을 특정 부분 그래프 추론에 연결 가능하게 하기 위해.
• 부분 그래프에서 유도된 신뢰도 점수를 누적시켜 목표 객체 탐지의 유효성을 검증하고 가짜 양성 탐지를 거부하는 그래프 기반 재인식 메커니즘을 구현하기 위해.
• 실시간으로 시나리오 그래프를 구축하기 위해 2D 비전-언어 모델과 비전 기초 모델을 활용해 온라인 3D 인스턴스 세그멘테이션을 수행하기 위해.

실험 결과

연구 질문

• RQ1 간단한 객체 카테고리 프롬프팅에 비해 계층적 3D 시나리오 그래프 표현이 제로샷 객체 탐색에서 LLM의 추론 품질을 향상시키는가?
• RQ2 시나리오 그래프 부분 그래프에 대한 계층적 사고 체인 프롬프팅이 의사결정의 설명 가능성과 탐색 성능을 어떻게 향상시키는가?
• RQ3 그래프 기반 재인식 메커니즘이 가짜 양성 목표 탐지 문제를 어느 정도 수정하고 복잡한 환경에서의 강인성을 향상시키는가?
• RQ4 3D 시나리오 그래프의 점진적이고 효율적인 구축 방식이 풍부한 공간 맥락을 유지하면서도 실시간 성능을 유지하는가?
• RQ5 이 프레임워크는 MP3D와 같은 도전적인 벤치마크에서 제로샷 및 심지어 지도 학습 기반 기준 방법을 모두 능가할 수 있는가?

주요 결과

• SG-Nav는 MP3D 벤치마크에서 78.4%의 성공률을 기록하여 이전 최고의 제로샷 방법보다 10퍼센트 이상 높으며, 일부 지도 학습 방법조차도 능가한다.
• HM3D와 RoboTHOR에서 SG-Nav는 가장 강력한 이전 제로샷 방법 대비 성공률을 10퍼센트 이상 향상시켰다.
• 계층적 사고 체인 프롬프팅 전략은 완전히 설명 가능한 탐색 결정을 가능하게 하며, LLM의 추론이 특정 부분 그래프에 연결 가능하다.
• 제거 실험 결과 그룹 노드를 제거하면 성능이 1.1% 저하되고, 실내 공간 노드를 제거하면 0.7% 저하됨으로써 구조적 그룹화의 중요성을 입증한다.
• 재인식 메커니즘이 효과적으로 가짜 양성 목표 객체를 거부하여 인지 오류로 인한 탐색 실패를 줄였다.
• 효율적인 프롬프트 기반 간선 구축 방법은 새로운 노드 수에 비례하는 선형 복잡도로 계산 복잡도를 낮춰 실시간 시나리오 그래프 업데이트를 가능하게 하였다.