[논문 리뷰] Learning the Preferences of Ignorant, Inconsistent Agents

Owain Evans, Andreas Stuhlmueller외 1명|arXiv (Cornell University)|2015. 12. 18.

Decision-Making and Behavioral Economics참고 문헌 15인용 수 5

한 줄 요약

이 논문은 인간의 선호를 추론하기 위해 인공지능 에이전트를 인지적 제약이 있는 존재로 모델링함으로써, 잘못된 믿음과 시간에 따라 일관되지 않은 편향(예: 초기 할인)을 고려한 베이지안 역계획 프레임워크를 제안한다. 계획을 구조적인 이탈을 가진 생성 과정으로 간주함으로써, 모델은 선호, 믿음, 편향을 동시에 추론하며, 인간의 행동을 설명하고 인간의 직관과 일치하는 선호 추론 과제에서 표준 최적 선택 모델보다 뛰어난 성능을 보인다.

ABSTRACT

An important use of machine learning is to learn what people value. What posts or photos should a user be shown? Which jobs or activities would a person find rewarding? In each case, observations of people's past choices can inform our inferences about their likes and preferences. If we assume that choices are approximately optimal according to some utility function, we can treat preference inference as Bayesian inverse planning. That is, given a prior on utility functions and some observed choices, we invert an optimal decision-making process to infer a posterior distribution on utility functions. However, people often deviate from approximate optimality. They have false beliefs, their planning is sub-optimal, and their choices may be temporally inconsistent due to hyperbolic discounting and other biases. We demonstrate how to incorporate these deviations into algorithms for preference inference by constructing generative models of planning for agents who are subject to false beliefs and time inconsistency. We explore the inferences these models make about preferences, beliefs, and biases. We present a behavioral experiment in which human subjects perform preference inference given the same observations of choices as our model. Results show that human subjects (like our model) explain choices in terms of systematic deviations from optimal behavior and suggest that they take such deviations into account when inferring preferences.

연구 동기 및 목표

• 표준 선호 추론 모델이 최적의 의사결정을 가정한다는 한계를 해결하기 위해.
• 잘못된 믿음과 시간에 따라 일관되지 않은 성향으로 인해 인간의 의사결정이 체계적으로 최적화되지 않음을 모델링하기 위해.
• 관찰된 선택에서 선호, 믿음, 편향을 동시에 추론하는 확률적 생성 모델을 개발하기 위해.
• 통제된 행동 실험에서 인간의 선호 판단과 비교하여 모델의 추론을 검증하기 위해.
• 최적성에서의 체계적 이탈을 명시적으로 모델링하지 않으면 잘못된 선호 추론이 발생할 수 있음을 보여주기 위해.

제안 방법

• 잘못된 믿음과 초기 할인을 고려한 순차적 의사결정을 모델링하는 확률적 프로그램을 사용해 에이전트 행동을 수식화하기 위해.
• 에이전트가 잘못된 상태에 대한 믿음을 가지고 있으며 시간에 따라 일관되지 않은 선호를 보이는 생성 모델을 구성하기 위해.
• 생성 모델을 역으로 풀어, 유틸리티 함수, 믿음, 편향 매개변수에 대한 사후 분포를 계산하기 위해 베이지안 추론을 적용하기 위해.
• 관찰된 행동에 대한 설명(유혹, 잘못된 믿음, 선호 등)에 대한 사후 확률을 계산하기 위해 모델을 활용하기 위해.
• 유연한 인지 편향 탐색을 가능하게 하기 위해 확률적 프로그래밍 언어로 모델을 구현하기 위해.
• 행동 실험에서 모델 예측을 인간의 판단과 비교하여 인간 직관과의 일치 정도를 평가하기 위해.

실험 결과

연구 질문

• RQ1 잘못된 믿음과 시간에 따라 일관되지 않은 성향은 선호 추론 과정에서 관찰된 선택의 해석에 어떻게 영향을 미치는가?
• RQ2 명시적으로 인지 편향을 모델링하는 모델은 표준 최적 선택 모델보다 선호를 더 정확하게 추론할 수 있는가?
• RQ3 인간 피실험자는 무작위 오차가 아니라 체계적인 이탈(예: 잘못된 믿음, 유혹)을 고려해 선택을 설명하는가?
• RQ4 인간이 행동을 설명할 때 사용하는 요소들이 모델이 추론한 설명과 어느 정도 일치하는가?
• RQ5 선호 식별의 불확실성이 다양한 설명의 타당성에 어떻게 영향을 미치는가?

주요 결과

• 에이전트가 잘못된 믿음이나 시간에 따라 일관되지 않은 성향으로 인해 최적의 선택을 하지 않더라도, 모델은 선호를 성공적으로 추론하며, 표준 최적 선택 모델보다 더 타당한 추론을 제공한다.
• 행동 실험에서, 54%의 인간 피실험자는 여러 에피소드를 보여줄 때 에이전트가 베지테리언 카페를 도넛 가게보다 선호한다고 판단했으며, 이는 모델의 59% 사후 확률과 밀도 있게 일치한다.
• 인간 피실험자는 무작위 오차가 아니라 체계적인 요소(예: 유혹 회피, 잘못된 믿음)를 사용해 선택을 설명했으며, 이는 이격된 이탈이 정보적인 요소로 간주됨을 시사한다.
• 모델의 설명에 대한 사후 분포는 인간이 식별한 요소(예: '유혹을 피하기 위해', '잘못된 믿음')의 빈도와 밀도 있게 일치하여, 인간 인지와의 일치를 검증한다.
• 선호가 모호할 경우, 모델은 인간 피실험자가 제시한 다양한 설명의 전반적인 범위를 포괄하며, 원칙적인 베이지안 방식으로 불확실성을 유지한다.
• 모델은 빈도가 높은 선택을 최고의 선호로 동일시하는 단순한 모델보다 뛰어나며, 이러한 모델은 인지 편향을 고려하지 못해 실패함을 보여준다.