[논문 리뷰] From Reactive to Map-Based AI: Tuned Local LLMs for Semantic Zone Inference in Object-Goal Navigation

Yudai Noda, Kanji Tanaka|arXiv (Cornell University)|2026. 03. 09.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

이 논문은 관찰된 물체들로부터 의미 구역을 추론하기 위해 LoRA-tuned Llama-2 모델을 사용하는 지도 기반 AI 프레임워크를 제시하며, 원칙적 탐색을 위한 하이브리드 토폴로지-그리드 맵을 통합하고 AI2-THOR에서 프런티어 및 반응형 베이스라인을 능가한다.

ABSTRACT

Object-Goal Navigation (ObjectNav) requires an agent to find and navigate to a target object category in unknown environments. While recent Large Language Model (LLM)-based agents exhibit zero-shot reasoning, they often rely on a "reactive" paradigm that lacks explicit spatial memory, leading to redundant exploration and myopic behaviors. To address these limitations, we propose a transition from reactive AI to "Map-Based AI" by integrating LLM-based semantic inference with a hybrid topological-grid mapping system. Our framework employs a fine-tuned Llama-2 model via Low-Rank Adaptation (LoRA) to infer semantic zone categories and target existence probabilities from verbalized object observations. In this study, a "zone" is defined as a functional area described by the set of observed objects, providing crucial semantic co-occurrence cues for finding the target. This semantic information is integrated into a topological graph, enabling the agent to prioritize high-probability areas and perform systematic exploration via Traveling Salesman Problem (TSP) optimization. Evaluations in the AI2-THOR simulator demonstrate that our approach significantly outperforms traditional frontier exploration and reactive LLM baselines, achieving a superior Success Rate (SR) and Success weighted by Path Length (SPL).

연구 동기 및 목표

• Object-Goal Navigation (ObjectNav)을 동기부여하고 공간 기억이 결여된 반응형 LLM 에이전트의 한계를 해결한다.
• 의미 구역을 객체 기반의 기능적 영역으로 정의하여 내비게이션을 안내한다.
• 의미 추론과 기하학적 계획을 결합하는 하이브리드 토폴로지-그리드 맵을 개발한다.
• 전역 계획을 위한 A*와 탐색의 TSP 기반 이상 탐색을 통해 체계적 커버리지를 달성한다.

제안 방법

• AI2-THOR의 물체-구역 동시출현 데이터로 LoRA를 적용해 Llama-2 모델을 미세조정하여 구역 카테고리와 목표 존재 여부를 추론한다.
• 현재 관찰된 물체 집합을 구두화하여 구역 추론(Zone Z_est) 및 Target Existence Probability P_target에 대한 프롬프트를 형성한다.
• 지역 계획을 위한 메트릭 점유 격자와 구역 노드인 의미론적 토폴로지 그래프의 이중 계층 맵을 구현한다.
• SBERT를 사용해 목표와 관찰 물체 간의 의미 유사도를 계산하여 구역 관련성을 안내한다.
• 거리와 P_target를 반영하는 가중 휴리스트를 사용해 의미 전선을 우선순위화한다.
• 지역 스캐닝 순서를 Traveling Salesman Problem (TSP)으로 해결하여 높은 확률의 구역을 조사하면서 경로 길이를 최소화한다.

실험 결과

연구 질문

• RQ1 LoRA로 미세조정된 LLM이 실내 환경에서 관찰된 물체로부터 의미 구역을 정확히 추론할 수 있는가?
• RQ2 ,

주요 결과

• 제안된 방법은 85% 성공률(SR)을 달성한다.
• 해당 방법은 0.52 SPL을 달성하여 Frontier 베이스라인(0.31) 및 Reactive LLM 베이스라인을 능가한다.
• LoRA-미세조정 구역 추론 정확도는 92%에 도달한다.
• 제로샷(비-LoRA) 모델은 중복 스캐닝으로 인해 총 이동 거리가 30% 증가한다.
• 반응형 LLM이 맵 없이 재빠르게 편향된 행동을 보이며, 오직 프런티어 방법들만으로는 의미 지침이 부족하다.