[논문 리뷰] Advances in Embodied Navigation Using Large Language Models: A Survey

Jinzhou Lin, Han Gao외 6명|arXiv (Cornell University)|2023. 11. 01.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Models, LLMs)을 몸체적 탐색에 활용한 최근의 발전을 종합적으로 분석하며, 시각, 언어, 강화 학습과의 통합을 분석하여 제로샷 계획 수립과 의사결정을 가능하게 한다. 이는 R2R에서 56.5% 및 IMAGENAV에서 82.0%의 최신 성능 기록을 보고하며, 복잡한 환경에서 적응형이고 맥락 인식 기반의 탐색을 가능하게 하는 LLM의 변혁적 역할을 입증한다.

ABSTRACT

In recent years, the rapid advancement of Large Language Models (LLMs) such as the Generative Pre-trained Transformer (GPT) has attracted increasing attention due to their potential in a variety of practical applications. The application of LLMs with Embodied Intelligence has emerged as a significant area of focus. Among the myriad applications of LLMs, navigation tasks are particularly noteworthy because they demand a deep understanding of the environment and quick, accurate decision-making. LLMs can augment embodied intelligence systems with sophisticated environmental perception and decision-making support, leveraging their robust language and image-processing capabilities. This article offers an exhaustive summary of the symbiosis between LLMs and embodied intelligence with a focus on navigation. It reviews state-of-the-art models, research methodologies, and assesses the advantages and disadvantages of existing embodied navigation models and datasets. Finally, the article elucidates the role of LLMs in embodied intelligence, based on current research, and forecasts future directions in the field. A comprehensive list of studies in this survey is available at https://github.com/Rongtao-Xu/Awesome-LLM-EN.

연구 동기 및 목표

• 몸체적 지능을 위한 탐색 작업에 대규모 언어 모델(LLMs)을 통합한 종합적인 검토를 제공하는 것.
• R2R, REVERIE, RXR, CVDN 등의 기존 벤치마크를 설계, 언어적 복잡도, 환경의 풍부함 측면에서 비교 분석하는 것.
• 현재 LLM 기반 에이전트의 제로샷 탐색에서의 강점과 한계, 즉 추론, 계획 수립, 일반화 능력 등을 평가하는 것.
• 다중모달 융합, 실시간 추론 지연, 학습 시 샘플 효율성 등의 주요 기술적 과제를 특정하는 것.
• 표준화된 벤치마크, 윤리적 AI 통합, 다학제적 협력 등의 향후 연구 방향을 제안하는 것.

제안 방법

• 몸체적 AI 분야의 14개 주요 벤치마크를 체계적으로 분석하여 데이터 구성, 작업 유형, 평가 프로토콜를 비교하는 방법을 사용한다.
• SayNav, ESC, NavGPT, OVRL-V2와 같은 최신 LLM 기반 에이전트를 평가하며, 언어 모델을 활용해 고수준의 계획 수립과 장면 이해를 수행한다.
• 3D 장면 그래프 구축, 대비적 언어-이미지 사전학습(Contrastive Language-Image Pre-training, CLIP), 그리고 확률적 소프트 논리 기법을 활용해 공간적 추론 및 일반지식 기반 추론 능력을 향상시킨다.
• 강화 학습(RL) 및 규칙 기반 방법론의 통합을 통해 정책 안정성 향상과 샘플 복잡도 감소를 도모한다.
• 점목표 탐색 및 언어 표현 참조 이해와 같은 작업들에서의 성공률를 평가하기 위해 비교 평가 프레임워크를 적용한다.
• 최근 분야 내 발전을 체계적으로 정리하고 분석하기 위해 커리레이티드 레포지토리(https://github.com/Rongtao-Xu/Awesome-LLM-EN)를 활용한다.

실험 결과

연구 질문

• RQ1 LLMs는 다양한 미리 보지 않은 환경에서 몸체적 탐색의 제로샷 일반화 능력을 어떻게 향상시키는가?
• RQ2 R2R, REVERIE, RXR와 같은 주요 몸체적 탐색 벤치마크 간의 설계 및 성능 차이의 핵심 요소는 무엇인가?
• RQ3 복잡한 탐색 작업에서 LLM 기반 에이전트는 기존의 강화 학습 또는 시각-언어 모델에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 실시간 다중모달 몸체적 에이전트에 LLM을 구현할 때 주요 기술적 제약은 무엇인가?
• RQ5 강력하고 일반적인 몸체적 지능을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• L3MVN과 같은 LLM 기반 에이전트는 R2R 벤치마크에서 56.5%의 성공률를 기록하여 이전 최고 성능 기록을 초월했다.
• OVRL-V2는 IMAGENAV 작업에서 82.0%의 성공률, OBJECTNAV에서 64.0%의 성공률를 기록하여 시각-언어 기반 탐색에서 뛰어난 성능을 보였다.
• ESC 및 NavGPT와 같은 모델들은 사전 학습된 일반지식 및 언어 모델을 활용해 향상된 추론 및 계획 수립 능력을 보였다.
• LLM과 시각, 언어의 융합은 새로운 환경에서도 효과적인 제로샷 의사결정을 가능하게 한다.
• 높은 성능에도 불구하고 실시간 추론, 다중모달 융합, LLM의 직접적인 물리 세계 기반 없음 등의 과제가 남아 있다.
• 표준화된 벤치마크와 다학제적 협력은 진전을 가속화하고 윤리적 배포를 보장하는 데 핵심적이다.