[논문 리뷰] The Boltzmann Policy Distribution: Accounting for Systematic Suboptimality in Human Models

Cassidy Laidlaw, Anca D. Dragan|arXiv (Cornell University)|2022. 04. 22.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 시간에 따라 의존하는 정책을 모델링함으로써 체계적인 부분 최적화를 포착하는 새로운 보상 조건화 인간 모델인 보르츠만 정책 분포(BPD)를 소개한다. 이는 궤적 대신 정책을 기반으로 모델링함으로써, 보편적인 행동 의존성에 기인한 체계적인 부분 최적화를 효과적으로 반영한다. 생성 모델을 통한 효율적인 샘플링과 베이지안 추론을 활용함으로써, BPD는 유사한 데이터 양을 사용하는 타이밍 학습보다 훨씬 적은 데이터로 정확한 인간 행동 예측과 인간-AI 협업을 가능하게 하며, 예측 및 협업 과제에서 보르츠만 합리성보다 뛰어난 성능을 보인다.

ABSTRACT

Models of human behavior for prediction and collaboration tend to fall into two categories: ones that learn from large amounts of data via imitation learning, and ones that assume human behavior to be noisily-optimal for some reward function. The former are very useful, but only when it is possible to gather a lot of human data in the target environment and distribution. The advantage of the latter type, which includes Boltzmann rationality, is the ability to make accurate predictions in new environments without extensive data when humans are actually close to optimal. However, these models fail when humans exhibit systematic suboptimality, i.e. when their deviations from optimal behavior are not independent, but instead consistent over time. Our key insight is that systematic suboptimality can be modeled by predicting policies, which couple action choices over time, instead of trajectories. We introduce the Boltzmann policy distribution (BPD), which serves as a prior over human policies and adapts via Bayesian inference to capture systematic deviations by observing human actions during a single episode. The BPD is difficult to compute and represent because policies lie in a high-dimensional continuous space, but we leverage tools from generative and sequence models to enable efficient sampling and inference. We show that the BPD enables prediction of human behavior and human-AI collaboration equally as well as imitation learning-based human models while using far less data.

연구 동기 및 목표

• 보편적인 행동 의존성에 기인한 시간에 따라 변화하는 행동 패턴으로 인해 발생하는 보르츠만 합리성의 인간 부분 최적 행동 모델링 한계를 해결하기 위해.
• 궤적 수준의 랜덤성 대신 정책 수준의 의존성을 포착하는 보상 조건화 인간 모델을 개발하여, 제한된 데이터에서 더 나은 일반화 및 추론을 가능하게 하기 위해.
• 베이지안 추론을 통한 정책에 대한 사전 분포를 활용해 인간 행동의 일관성을 반영하는 적응형 정책을 학습함으로써 효과적인 인간-AI 협업을 가능하게 하기 위해.
• 궤적 대신 정책을 모델링할 경우, 더 정확한 인간 행동 예측과 더 낮은 데이터 요구량으로 향상된 협업 성능을 달성할 수 있음을 입증하기 위해.
• 더 정확한 인간 행동의 역모델링을 제공함으로써 보다 향상된 보상 학습 기반을 마련하기 위해.

제안 방법

• 시간에 따라 변화하는 행동 의존성에 기반해 최적화에서의 일관된 편차를 모델링함으로써, 인간 정책에 대한 사전 분포로 보르츠만 정책 분포(BPD)를 제안한다.
• 단일 에피소드 내에서 관측된 인간 행동을 기반으로 베이지안 추론을 통해 BPD의 사후 분포를 업데이트함으로써 체계적인 부분 최적화에 적응한다.
• 정규화 흐름, 변분 추론 등 생성 및 시퀀스 모델링 기법을 활용하여 고차원 연속 정책의 효율적 샘플링 및 표현을 가능하게 한다.
• PPO를 사용해 협업 AI 정책을 학습하며, 인간 행동을 BPD 또는 최대 엔트로피(MaxEnt) 분포에서 샘플링된 것으로 모델링함으로써 로봇이 인간 정책 역학에 적응할 수 있도록 한다.
• 메모리가 있는지 여부에 따라 BPD 기반 협업 정책을 비교함으로써 시간적 적응의 인간-AI 조율에서의 가치를 평가한다.
• 최대 사후확률(MAP) 및 평균장 변분 추론(MFVI) 근사를 사용하여 BPD 내 추론의 스케일링을 가능하게 하면서도 예측 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 체계적인 부분 최적 행동을 보이는 인간의 행동을 예측할 때, 궤적 대신 정책을 모델링하는 것이 성능을 향상시키는가?
• RQ2 단일 에피소드의 인간 데이터만을 사용할 경우, BPD는 보르츠만 합리성보다 더 정확한 인간-AI 협업을 가능하게 하는가?
• RQ3 BPD가 인간 행동의 시간적 의존성을 포착함으로써 협업 AI 정책의 성능에 어떤 영향을 미치는가?
• RQ4 비교적 낮은 데이터 요구량으로 보편적인 인간 행동 모델링을 위해 BPD는 타이밍 학습보다 얼마나 더 효율적인가?
• RQ5 BPD는 인간 행동 패턴을 더 정확히 반영함으로써 보다 나은 역모델링을 제공함으로써 보상 학습에 더 나은 기초를 마련할 수 있는가?

주요 결과

• BPD는 행동 클로닝 모델과 유사한 예측 정확도를 달성함에도 불구하고, 훨씬 적은 인간 데이터를 사용함으로써 데이터 효율적인 인간 모델로서의 효과성을 입증한다.
• 보르츠만 합리성은 체계적인 부분 최적 설정에서는 인간 행동을 정확히 예측하지 못하며, 일부 환경에서는 무작위와 유사한 성능을 보이지만, BPD는 강력한 예측 능력을 유지한다.
• BPD 기반 협업 정책은 Overcooked의 세 가지 레이아웃 전반에서 보르츠만 합리성 기반 정책보다 뛰어난 성능을 보이며, 인간-AI 팀 내에서 더 나은 협력 역량을 입증한다.
• 명시적인 메모리가 없더라도 BPD 기반 협업 정책은 메모리가 있는 정책과 거의 유사한 성능을 보이며, 이는 BPD가 시간적 일관성을 내재적으로 포착하고 있음을 시사한다.
• MFVI 근사는 MAP 추론보다 성능이 열 劣하며, 이는 정책 수준의 의존성을 정확히 모델링하기 위해 전체 사후 분포 표현이 필수적임을 확인한다.
• BPD는 최소한의 데이터로 효과적인 인간-AI 협업을 가능하게 하며, 데이터 집약적인 타이밍 학습에 비해 정책 수준의 모델링이 타당한 대안임을 입증한다.