[논문 리뷰] The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling Probabilistic Social Inferences from Linguistic Inputs

Lance Ying, Katherine M. Collins외 6명|arXiv (Cornell University)|2023. 06. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(LLM)을 사용해 언어적 기술을 상징적 프로그램 의미로 변환하고, 이를 바탕으로 베이지안 확률적 생성 모델을 조건화하여 목표 추론을 수행하는 하이브리드 모델인 신경기호 역계획 엔진(NIPE)을 소개한다. NIPE는 공간적이고 규칙 기반의 장애물 코스 시나리오를 포함한 복잡한 사회적 추론 작업에서 인간의 판단을 예측하는 데 있어 순수한 LLM보다 뛰어난 성능을 보인다.

ABSTRACT

Human beings are social creatures. We routinely reason about other agents, and a crucial component of this social reasoning is inferring people's goals as we learn about their actions. In many settings, we can perform intuitive but reliable goal inference from language descriptions of agents, actions, and the background environments. In this paper, we study this process of language driving and influencing social reasoning in a probabilistic goal inference domain. We propose a neuro-symbolic model that carries out goal inference from linguistic inputs of agent scenarios. The "neuro" part is a large language model (LLM) that translates language descriptions to code representations, and the "symbolic" part is a Bayesian inverse planning engine. To test our model, we design and run a human experiment on a linguistic goal inference task. Our model closely matches human response patterns and better predicts human judgements than using an LLM alone.

연구 동기 및 목표

• 복잡하고 동적인 환경에서 인간과 유사한 사회적 추론을 통해 에이전트의 목표를 언어 입력에서 모델링하는 것.
• 순수한 신경망 기반 LLM이 합리적이고 목표 중심의 계획 수립 및 효율적인 경로 추론을 포괄하지 못하는 한계를 해결하는 것.
• 기호적 베이지안 역계획과 신경망 언어 모델을 융합하여 더 체계적이고 해석 가능하며 정확한 사회적 추론을 가능하게 하는 것.
• 신경망 기반 언어 이해와 기호적 확률적 추론을 융합함으로써 인간의 직관적 판단 예측 성능이 향상되는지 테스트하는 것.
• 자연어 기반 기술을 바탕으로 한 AI 에이전트의 이성적 사고 모델링을 위한 확장 가능한, 언어 기반 프레임워크를 개발하는 것.

제안 방법

• 대규모 언어 모델(LLM)을 사용해 환경, 에이전트 행동, 세계 역학에 대한 자연어 기술을 실행 가능한 기호적 프로그램 표현으로 해석하는 것.
• 언어 입력을 구조화된 기호적 의미로 변환하여 가능한 세계 상태와 에이전트 행동에 대한 확률적 생성 모델을 조건화하는 것.
• 기호적 의미를 기반으로 가능한 환경와 에이전트 계획에 대한 사전 분포를 정의하기 위해 생성 모델을 조건화하는 것.
• 관측된 행동과 세계 제약 조건에서 역행적으로 추론함으로써 에이전트의 가장 가능성이 높은 목표를 추론하기 위해 베이지안 역계획을 적용하는 것.
• 효율성과 제약 조건을 가정한 상황에서 합리적이고 목표 중심의 행동을 시뮬레이션하기 위해 역계획 과정 내부에 중첩된 계획자(nested planner)를 활용하는 것.
• 잠금된 문과 다수의 트로피를 포함한 게임쇼 장애물 코스를 모델로 삼아 설계된 맞춤형 언어 기반 목표 추론 작업에서 모델을 훈련하고 평가하는 것.

Figure 1: Overview of our model, the Neuro-Symbolic Inverse Planning Engine (NIPE), which reasons about linguistic goal inference scenarios. ( Left, green ) We design and measure human judgments on a linguistic goal inference domain (inspired by Zhi-Xuan et al. ( 2020 ) , which asks about the final

실험 결과

연구 질문

• RQ1 복잡한 사회적 추론 시나리오에서 순수한 LLM보다 신경기호 모델이 인간의 직관적 목표 추론을 더 잘 예측할 수 있는가?
• RQ2 LLM은 더 가까운 목표를 무시하고 더 먼 목표를 향해 행동하는 등 직관에 어긋나는 합리적 계획을 얼마나 잘 처리하는가?
• RQ3 기호적 베이지안 역계획은 공간적 작업에서 에이전트의 효율성과 목표 중심 행동에 대해 어느 정도 향상된 추론을 가능하게 하는가?
• RQ4 세계 역학, 행동, 구성에 대한 언어 입력이 확률적 프레임워크 내에서 공동으로 목표 추론에 어떤 영향을 미치는가?
• RQ5 신경망 기반 언어 이해와 기호적 확률적 추론을 융합한 하이브리드 시스템은 종단간 신경망 모델보다 더 일관되고 체계적이며 인간 중심의 사회적 추론을 생성할 수 있는가?

주요 결과

• NIPE는 잠긴 문과 다수의 트로피를 포함한 복잡한 장애물 코스를 다루는 언어 기반 목표 추론 작업에서 인간의 반응 패턴을 밀도 있게 재현한다.
• 특히 공간적 및 색상 구분 도메인과 같은 복잡한 변형에서 인간의 판단을 예측하는 데 있어 LLM 기반 베이스라인(예: GPT-4 포함)보다 상당히 뛰어난 성능을 보인다.
• 공간적 변형에서는 효율적인 경로 계획이 요구되는데, LLM은 에이전트가 더 가까운 트로피(예: 실버)를 향하고 있다고 잘못 예측하지만, 인간과 NIPE는 정확히 더 먼 목표(예: 브론즈)를 향하고 있음을 추론한다. 이는 NIPE가 합리적 계획을 효과적으로 모델링할 수 있음을 보여준다.
• 색상 구분 변형에서는 LLM 기반 베이스라인이 인간 판단과 거의 상관관계가 없어, 세계 역학에 대한 추상적 규칙를 일관되게 적용하지 못함을 시사한다.
• 모든 네 가지 작업 변형에서 NIPE는 인간 판단과 강한 상관관계를 유지하며, 언어적 및 구조적 복잡성에 대해 뛰어난 강인성을 보인다.
• 정성적 분석 결과, NIPE는 합리성과 효율성에 기반해 목표를 정확히 추론하는 반면, LLM은 종종 거리나 인식된 가치(예: 골드 대비 실버 트로피)와 같은 표면적 단서에 의존한다.

Figure 2: Correlation between NIPE and baseline LLMs vs. human judgments, aggregated across the goal-inference stimuli. Our model ( Right ) produces posterior probabilities over goals that correlate strongly overall with human judgments; GPT-4 correlates moderately overall ( Middle ) and GPT-3.5 ( L