[논문 리뷰] JARVIS: A Neuro-Symbolic Commonsense Reasoning Framework for Conversational Embodied Agents

Kaizhi Zheng, Kaiwen Zhou외 6명|arXiv (Cornell University)|2022. 08. 28.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

JARVIS는 대화 이해 및 하위 목표 계획을 위한 대규모 언어 모델(Large Language Models, LLMs)과 의미 지ap 기반 상징적 추론을 결합한 신경-상징적 프레임워크를 제안한다. 이는 해석 가능하고 일반화 가능하며 모듈화된 대화형 몸체 인공지능 에이전트를 가능하게 한다. JARVIS는 TEACh 벤치마크에서 최고 성능을 기록하였으며, EDH의 미사용 환경에서의 성공률을 6.1%에서 15.8%로 향상시켰고, Alexa Prize SimBot 챌린지에서 1위를 차지하였다.

ABSTRACT

Building a conversational embodied agent to execute real-life tasks has been a long-standing yet quite challenging research goal, as it requires effective human-agent communication, multi-modal understanding, long-range sequential decision making, etc. Traditional symbolic methods have scaling and generalization issues, while end-to-end deep learning models suffer from data scarcity and high task complexity, and are often hard to explain. To benefit from both worlds, we propose JARVIS, a neuro-symbolic commonsense reasoning framework for modular, generalizable, and interpretable conversational embodied agents. First, it acquires symbolic representations by prompting large language models (LLMs) for language understanding and sub-goal planning, and by constructing semantic maps from visual observations. Then the symbolic module reasons for sub-goal planning and action generation based on task- and action-level common sense. Extensive experiments on the TEACh dataset validate the efficacy and efficiency of our JARVIS framework, which achieves state-of-the-art (SOTA) results on all three dialog-based embodied tasks, including Execution from Dialog History (EDH), Trajectory from Dialog (TfD), and Two-Agent Task Completion (TATC) (e.g., our method boosts the unseen Success Rate on EDH from 6.1\% to 15.8\%). Moreover, we systematically analyze the essential factors that affect the task performance and also demonstrate the superiority of our method in few-shot settings. Our JARVIS model ranks first in the Alexa Prize SimBot Public Benchmark Challenge.

연구 동기 및 목표

• 대화 기반 몸체 작업에서 엔드 투 엔드 딥 러닝 모델의 한계, 즉 데이터 부족, 낮은 일반화 능력, 해석 불가능성 문제를 해결하기 위해.
• 신경적 인식과 상징적 공공의식 추론을 통합하여 상징적 시스템의 확장성 및 일반화 문제를 극복하기 위해.
• 하이브리드 신경-상징 아키텍처를 통해 미사용 환경에서도 모듈화되고 해석 가능하며 일반화 가능한 작업 실행을 가능하게 하기 위해.
• 자유형 대화와 시각적 인식 하에서 복잡하고 장기적인 몸체 작업(예: 가정 내 작업 완료)의 성능을 향상시키기 위해.
• 전문가 시연가 제한된 소수의 샘플 설정에서의 효과성을 검증하기 위해.

제안 방법

• 자연어 대화에서 작업에 관련된 정보를 추출하고 액티브한 하위 목표를 생성하기 위해 대규모 언어 모델(LLMs)을 사용한다.
• 심층 및 인스턴스 세그멘테이션 모델을 활용해 자기 중심 시각 관측치에서 동적 의미 세계 모델을 구축한다.
• 작업 수준 및 동작 수준의 공공의식 지식을 사용하여 동작을 계획하는 상징적 추론 모듈을 활용한다.
• 하위 목표 시퀀스와 의미 지도를 통합하여 모듈화되고 해석 가능한 파ip라인을 통해 실행 가능한 동작을 생성한다.
• LLM 프롬프팅과 시각 모델(예: Mask R-CNN)을 활용하여 인식 및 정합성 정확도를 향상시킨다.
• 공유된 추론 컴포넌트를 통해 EDH, TfD, TATC 작업에 모두 적응 가능한 모듈화된 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 신경-상징적 프레임워크는 대화 기반 몸체 작업 실행에서 일반화 능력과 해석 가능성에 어떻게 기여하는가?
• RQ2 공공의식 추론은 새로운 환경에서의 동작 실패를 줄이고 성공률을 향상시키는 데 어떤 역할을 하는가?
• RQ3 상징적 추론은 엔드 투 엔드 모델이 성능을 발휘하지 못하는 저자료(소수 샘플) 설정에서 성능 향상에 기여할 수 있는가?
• RQ4 인식 오류(예: 깊이 또는 세그멘테이션 오류)는 어떻게 동작 실패를 유도하며, 상징적 추론을 통해 이를 완화할 수 있는가?
• RQ5 하위 목표 추정 오류는 최종 작업 성공에 얼마나 큰 영향을 미치며, 이를 어떻게 줄일 수 있는가?

주요 결과

• JARVIS는 EDH, TfD, TATC의 세 가지 TEACh 작업 전반에서 최고 성능을 기록하였으며, EDH에서의 미사용 성공률이 6.1%에서 15.8%로 상승하였다.
• JARVIS는 Alexa Prize SimBot 공개 벤치마크 챌린지에서 1위를 차지하여 강력한 실세계 일반화 능력을 입증하였다.
• 제한된 전문가 시연가 존재하는 소수 샘플 설정에서도 JARVIS는 효과적으로 일반화되며, 엔드 투 엔드 기반 모델을 능가하는 성능을 보였다.
• 동작 실패의 가장 흔한 원인은 '이동 중 차단됨'(EDH 기준 40.8%)으로, 주로 깊이 예측 오류로 인해 의미 장애물 지도에 영향을 미쳐 발생한다.
• 물체 인식 오류, 예를 들어 토마토를 사과로 잘못 인식하는 경우는 작업 실패로 이어지며, 정확한 인식 능력의 중요성을 강조한다.
• 하위 목표 추정 실패, 예를 들어 접시 위에 모든 감자를 올리는 것과 같은 핵심 단계를 생략하는 경우는 정성 분석을 통해 직접적으로 작업 실패를 유도함을 확인하였다.