[논문 리뷰] Solving the Baby Intuitions Benchmark with a Hierarchically Bayesian Theory of Mind

Tan Zhi‐Xuan, Nishad Gothoskar외 4명|arXiv (Cornell University)|2022. 08. 04.

Child and Animal Learning Development인용 수 5

한 줄 요약

이 논문은 목표 지향적 행동에 대해 소수의 샘플로도 해석 가능한 추론을 가능하게 하기 위해 에이전트의 선호도와 효율성에 대한 계층적 사전분포를 사용하는 계층적 베이지안 심리이론(HBToM) 모델을 제안한다. 모델은 구조적 베이지안 추론을 통해 타당성에 대해 추론함으로써 베이비 인트루션 벤치마크에서 거의 완벽한 정확도를 달성하며, 딥러닝 및 이뮬레이션 러닝 기반 모델들을 능가한다. 또한 인간과 유사한 정서 상태 할당을 생성한다.

ABSTRACT

To facilitate the development of new models to bridge the gap between machine and human social intelligence, the recently proposed Baby Intuitions Benchmark (arXiv:2102.11938) provides a suite of tasks designed to evaluate commonsense reasoning about agents' goals and actions that even young infants exhibit. Here we present a principled Bayesian solution to this benchmark, based on a hierarchically Bayesian Theory of Mind (HBToM). By including hierarchical priors on agent goals and dispositions, inference over our HBToM model enables few-shot learning of the efficiency and preferences of an agent, which can then be used in commonsense plausibility judgements about subsequent agent behavior. This approach achieves near-perfect accuracy on most benchmark tasks, outperforming deep learning and imitation learning baselines while producing interpretable human-like inferences, demonstrating the advantages of structured Bayesian models of human social cognition.

연구 동기 및 목표

• 기계 학습 모델이 목표 지향적 행동과 선호도에 대해 인간과 유사한 사회인지 추론하는 데에 미치지 못하는 격차를 보완하기 위해.
• 에이전트의 목표, 선호도, 효율성에 대해 유아와 유사한 직관적 심리학을 반영하는 구조적이고 해석 가능한 모델을 개발하기 위해.
• 계층적 베이지안 모델이 최소한의 훈련으로 베이비 인트루션 벤치마크에서 높은 정확도를 달성할 수 있음을 보여주기 위해.
• 민간 심리학 개념과 일치하는 이론적으로 탄탄한 설명 가능한 프레임워크를 제공하여 인공 에이전트의 심리이론 모델링을 가능하게 하기 위해.

제안 방법

• 에이전트의 선호도(θₙ)와 효율성(βₙ)에 대한 계층적 사전분포를 사용하여, 소수의 관찰에서 정신 상태를 추론할 수 있도록 한다.
• 관측된 행동으로부터 목표와 정책을 추론하기 위해 베이지안 역계획법을 사용하며, 정책은 에이전트의 효율성에 의해 조절된다.
• 온라인 추론을 통해 목표와 효율성의 사후분포를 추론하며, 여러 번의 익숙해짐 시험 동안 신념을 갱신한다.
• 총변동량과 사후분포의 로그우도 변화를 포함한 놀라움 메트릭을 통해 타당성 판단을 계산한다.
• 확률적 프로그래밍을 사용하여 구현함으로써 실시간 추론이 가능하고 신경망 가이던스와의 통합도 가능하다.
• 명시적 역전파 없이도 관측된 상태-행동 트레이잭터리에 대한 베이지안 조건부 적용을 통해 암묵적으로 훈련된다.

실험 결과

연구 질문

• RQ1 계층적 사전분포를 가진 구조적 베이지안 모델이 소수의 관찰 시험에서 인간의 직관적 심리학을 모방하는 방식으로 에이전트의 목표와 성향을 정확히 추론할 수 있는가?
• RQ2 딥러닝 및 이뮬레이션 러닝 기반 모델들과 비교해 볼 때, 계층적 베이지안 추론은 베이비 인트루션 벤치마크에서 에이전트의 타당성에 대해 어떻게 추론하는가?
• RQ3 목표와 효율성의 사후분포 변화에 기반한 놀라움 메트릭이 인간과 유사한 타당성 판단을 얼마나 잘 설명하는가?
• RQ4 대규모 훈련 데이터가 필요 없이도 모델이 해석 가능하고 인간이 이해할 수 있는 방식으로 에이전트의 성향과 정신 상태를 추론할 수 있는가?
• RQ5 다양한 놀라움 메트릭(예: 목표 사후분포 이동, 효율성 사후분포 이동, 로그우도)은 타당성 결정에 어떤 역할을 하는가? 그리고 이들 메트릭은 독립적으로 사용될 수 있는가?

주요 결과

• HBToM 모델은 베이비 인트루션 벤치마크의 대부분의 작업에서 거의 완벽한 쌍별 정확도를 달성하며, 딥러닝 및 이뮬레이션 러닝 기반 모델들을 크게 능가한다.
• 선호도 및 효율성 작업에서는 정확도가 거의 100%에 가까워, 극히 소수의 관찰에서 강력한 소수 샘플 일반화 능력을 보여준다.
• 목표와 효율성 사후분포의 변화를 추적함으로써 모델은 설명 가능한 추론을 생성한다. 예를 들어, 새로운 에이전트를 관찰했을 때 이전 신념으로 되돌아가는 현상이 관찰된다.
• 성능가능성이 약간 떨어지는 일부 하위작업에서도 HBToM 모델은 모든 벤치마크 작업에서 높은 전체 일관성과 강건성을 유지한다.
• 제거 분석 결과, 단일 놀라움 메트릭만으로는 충분하지 않으며, 인간의 타당성 판단의 복잡성을 모두 포괄하기 위해서는 복합 메트릭이 필요하다.
• 모델의 구조적 사전분포 덕분에 광범위한 훈련 없이도 이론 기반의 빠른 추론이 가능함을 보여주며, 사회인지 모델링에서 인덕티브 바이어스의 이점이 뚜렷하다.