[논문 리뷰] On the Feasibility of Learning, Rather than Assuming, Human Biases for Reward Inference

Rohin Shah, Noah Gundotra외 2명|arXiv (Cornell University)|2019. 06. 23.

Decision-Making and Behavioral Economics참고 문헌 27인용 수 14

한 줄 요약

이 논문은 인간의 계획 편향을 직접 데이터에서 학습하는 방법을 탐구하며, 특정 편향(합리성 또는 단기적 사고 등)을 가정하지 않고 보상 함수를 추론하기 위해 미분 가능한 계획자(플래너)를 사용한다. 계획자 학습이 편향 적응에 기여하지만, 근사적인 미분 가능한 계획의 성능 손실가 이점을 상회하여, 데이터 기반의 편향 학습이 실현 가능하려면 더 나은 미분 가능한 계획 방법이 필요하다는 것을 시사한다.

ABSTRACT

Our goal is for agents to optimize the right reward function, despite how difficult it is for us to specify what that is. Inverse Reinforcement Learning (IRL) enables us to infer reward functions from demonstrations, but it usually assumes that the expert is noisily optimal. Real people, on the other hand, often have systematic biases: risk-aversion, myopia, etc. One option is to try to characterize these biases and account for them explicitly during learning. But in the era of deep learning, a natural suggestion researchers make is to avoid mathematical models of human behavior that are fraught with specific assumptions, and instead use a purely data-driven approach. We decided to put this to the test -- rather than relying on assumptions about which specific bias the demonstrator has when planning, we instead learn the demonstrator's planning algorithm that they use to generate demonstrations, as a differentiable planner. Our exploration yielded mixed findings: on the one hand, learning the planner can lead to better reward inference than relying on the wrong assumption; on the other hand, this benefit is dwarfed by the loss we incur by going from an exact to a differentiable planner. This suggest that at least for the foreseeable future, agents need a middle ground between the flexibility of data-driven methods and the useful bias of known human biases. Code is available at https://tinyurl.com/learningbiases.

연구 동기 및 목표

• 역강화학습에서 고정된 편향을 가정하는 대신, 데이터로부터 인간의 계획 편향을 학습하는 것이 가능한지 탐구하는 것.
• 인간의 시연자들이 체계적인 편향(예: 단기적 사고 또는 계획 오류 등)을 보일 경우 보상 추론의 과제를 해결하는 것.
• 시연자의 플래너를 데이터 기반으로 학습하는 방법이 기존의 특정 합리성 모델을 가정하는 전통적인 IRL 방법보다 우월한지 평가하는 것.
• 엔드 투 엔드로 인간의 편향을 학습하는 데 실현 가능하게 하기 위해 필요한 구조적 가정과 알고리즘 개선 사항을 규명하는 것.

제안 방법

• 시연 데이터로부터 시연자의 정책 생성 과정을 학습하는 미분 가능한 플래너를 제안하여 계획 과정을 거쳐 역전파가 가능한 엔드 투 엔드 학습을 가능하게 한다.
• 값 반복을 미분 가능하게 하기 위해 최댓값 대신 소프트 최댓값(로그합지수)을 사용하여 소프트 값 반복을 적용한다.
• 보상 함수와 플래너를 역전파를 통해 공동으로 학습하며, 최적성에 수렴하는 정규화를 통해 학습 안정성을 높인다.
• 지식 기반 보상이 알려진 감독 설정에서 플래너 성분의 집중적 학습이 가능하도록 평가한다.
• 정확한 합리적 계획(예: 값 반복)과 고정된 편향 가정(예: 소음이 있는 합리성)을 사용한 베이스라인과 성능을 비교한다.
• 공동 학습, 최적 정책으로의 초기화, 좌표 상승법 대비 공동 최적화의 영향을 평가하기 위한 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 미분 가능한 플래너가 특정 편향 모델을 가정하지 않고 시연 데이터로부터 인간의 편향을 학습할 수 있는가?
• RQ2 학습된 플래너를 통한 보상 추론 성능이 정확한 비미분 가능한 플래너와 비교해 어떻게 되는가?
• RQ3 플래너를 최적 행동으로 초기화하는 것이 후속 보상 추론 성능에 어떤 영향을 미치는가?
• RQ4 보상과 플래너를 공동으로 학습하는 것이 좌표 상승법보다 성능이 뛰어나게 되는가?
• RQ5 성공적인 편향 학습을 위해서는 시연자가 약간의 합리성에 가깝다는 가정이 얼마나 필수적인가?

주요 결과

• 정확한, 미분 가능한 시연자 모델(소프트 값 반복)을 사용할 경우 최대 보상의 98.1%를 달성하여 계획이 정확할 경우의 성능 상한선을 입증한다.
• 제안된 미분 가능한 플래너(알고리즘 1)는 최대 보상의 86.9%를 달성하여 계획의 근사로 인한 상당한 성능 저하를 보였다.
• 알고리즘 2는 플래너를 최적 행동을 모방하도록 초기화하여 최대 보상의 86.2%를 달성하였으며, 초기화가 성능에 매우 중요하다는 것을 확인하였다.
• 보상과 플래너의 공동 학습이 좌표 상승법보다 성능이 뛰어나, 엔드 투 엔드 최적화가 교대로 업데이트하는 것보다 더 효과적이라는 것을 시사한다.
• 시스템적 편향 학습의 이점이 미분 가능한 계획에서 발생하는 근사 오차에 의해 상쇄되어, 현재의 딥러닝 아키텍처는 이 접근법에 아직 부적합하다는 것을 시사한다.