[논문 리뷰] Modeling the Mistakes of Boundedly Rational Agents Within a Bayesian Theory of Mind

Arwa Alanqary, Gloria Z. Lin외 4명|arXiv (Cornell University)|2021. 06. 24.

Evolutionary Game Theory and Cooperation인용 수 10

한 줄 요약

이 논문은 유한한 이성성의 에이전트가 세 수준에서 실수를 일으키는 것을 모델링함으로써 베이지안 마음이론을 확장한다: 의미적 혼동으로 인한 잘못된 목표, 제한된 계획 깊이로 인한 계획의 결함, 실행 오류로 인한 뜻하지 않은 행동. 이러한 실수를 확률적 프로그램으로 표현함으로써, 특히 목표가 혼동되거나 계획이 최적화되지 않은 경우, 기존 모델보다 인간의 목표 추론을 더 잘 설명할 수 있다.

ABSTRACT

When inferring the goals that others are trying to achieve, people intuitively understand that others might make mistakes along the way. This is crucial for activities such as teaching, offering assistance, and deciding between blame or forgiveness. However, Bayesian models of theory of mind have generally not accounted for these mistakes, instead modeling agents as mostly optimal in achieving their goals. As a result, they are unable to explain phenomena like locking oneself out of one's house, or losing a game of chess. Here, we extend the Bayesian Theory of Mind framework to model boundedly rational agents who may have mistaken goals, plans, and actions. We formalize this by modeling agents as probabilistic programs, where goals may be confused with semantically similar states, plans may be misguided due to resource-bounded planning, and actions may be unintended due to execution errors. We present experiments eliciting human goal inferences in two domains: (i) a gridworld puzzle with gems locked behind doors, and (ii) a block-stacking domain. Our model better explains human inferences than alternatives, while generalizing across domains. These findings indicate the importance of modeling others as bounded agents, in order to account for the full richness of human intuitive psychology.

연구 동기 및 목표

• 기존의 베이지안 마음이론 모델이 일반적으로 최적의 에이전트를 가정하고 목표 혼동이나 계획 오류와 같은 고차원적 실수를 설명하지 못하는 격차를 메우기 위해.
• 목표, 계획, 행동의 다수의 인지 수준에서의 비최적 행동을 고려하여 인간의 직관적 심리학을 모델링하기 위해.
• 목표, 계획, 행동 실수를 통합한 단일 모델이 행동 오차나 계획 오차만 고려하는 모델보다 인간의 목표 추론을 더 잘 설명하는지 테스트하기 위해.
• 유한한 이성성으로 인해 실수를 일으키는 에이전트의 행동에서 사람들이 어떻게 목표를 추론하는지 조사하기 위해.
• 다양한 도메인에서 인간의 판단에 더 잘 부합하기 위해, 서로 다른 수준에서의 실수 유형을 별도로 모델링하는 것이 인간의 판단에 대한 정밀도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 목표 전이, 계획 갱신, 행동 선택, 상태 전이를 포함하는 생성 과정을 통해 행동을 생성하는 확률적 프로그램으로 에이전트를 모델링한다.
• 의미적으로 유사한 목표로 현재 목표를 확률 εg로 무작위로 교체하는 베르누이 노이즈 과정을 도입하여 목표 혼동을 모델링한다.
• 자원 제한된 계획을 위해 음이 이항분포를 사용하여 검색 예산을 샘플링함으로써, 각 단계에서 부분적 계획과 재계획을 가능하게 한다.
• 정확한 계획이더라도 뜻하지 않은 행동이 발생할 수 있도록, 확률적 행동 선택 메커니즘을 통해 행동 오류를 표현한다.
• 관측된 행동 시퀀스에 기반해 목표에 대한 사후 확률을 계산함으로써 역추론을 수행하고, 이론-오브-마인드 추론을 가능하게 한다.
• 웹PPL과 같은 확률적 프로그래밍 프레임워크를 사용해 모델을 구현하여, 다양한 실수 유형 간의 추론을 시뮬레이션하고 비교한다.

실험 결과

연구 질문

• RQ1 목표, 계획, 행동 실수를 고려하는 베이지안 마음이론 모델이 행동 오차만 고려하는 모델보다 인간의 목표 추론을 더 잘 설명할 수 있는가?
• RQ2 사람들은 비최적 행동을 관찰할 때 목표, 계획, 행동의 실수를 어떻게 구분하는가?
• RQ3 목표 혼동이 가능할 수 있는 도메인(예: 철자 실수가 있는 블록 스택 작업)에서는 목표 혼동의 포함 여부가 모델 적합도를 향상시키는가?
• RQ4 모델의 성능은 다양한 파라미터 설정과 실수 유형에 대해 얼마나 강인한가?
• RQ5 사람들이 타인의 의도를 추론할 때, 높은 수준의 실수 모델링(예: 잘못된 목표)을 얼마나 활용하고, 낮은 수준의 노이즈(예: 행동 오차)를 얼마나 활용하는가?

주요 결과

• 모델의 전체 GPA(목표, 계획, 행동) 모델은 연구에서 사용된 16개의 자극 전반에서 인간 추론과 가장 높은 상관관계(r = 0.86 ± 0.02)를 달성했다.
• 에이전트가 잘못된 순서 'paer'를 생성했음에도 불구하고, 모델은 t=7 시점에 정확한 목표 'pear'를 성공적으로 추론하여 목표 혼동에 대한 강건성을 입증했다.
• 행동 오차만 고려하는 볼츠만 에이전트 모델은 경로 길이가 짧아 'reap'을 'pear'보다 더 선호하여 인간이 진짜 목표에 대해 느끼는 확신을 설명하지 못했다.
• 행동 실수를 고려하지 않은 모델(A-lesioned)은 모든 조건에서 가장 열악한 성능을 보였으며, 이는 블록 스택 도메인에서 정확한 추론을 위해서는 실행 오류 모델링이 필수적임을 시사한다.
• 민감도 분석 결과, 전체 모델은 모든 파라미터 세트에서 레이션된 변종보다 뛰어난 성능을 보였고, 대부분의 구성에서 순서적 우월성(ordinal dominance)을 보였다.
• 목표 오류만 고려하는 모델(G-lesioned)은 계획 또는 행동 오류가 존재할 경우 성능이 열악했으며, 이는 여러 실수 유형을 동시에 모델링할 필요성이 있음을 강조한다.