[논문 리뷰] Human irrationality: both bad and good for reward inference

Lawrence S. Chan, Andrew Critch외 1명|arXiv (Cornell University)|2021. 11. 12.

Reinforcement Learning in Robotics참고 문헌 32인용 수 7

한 줄 요약

이 논문은 인간의 비합리성이 올바르게 모델링될 경우, 행동과 보상 간의 상호정보량을 증가시켜 역강화학습에서 보상 추론 성능을 향상시킬 수 있음을 보여준다. 이는 심지어 합리적인 인간 행동을 능가한다. 저자들은 MDP에서 벨만 최적성 방정식에서의 이탈로 비합리성을 수식화함으로써, 단기적 또는 편향된 의사결정이 합리적인 경우보다 더 정보적인 인간의 시연을 가능하게 함을 보여주며, 특히 로봇이 비합리성 유형을 정확히 모델링할 경우에 더욱 두드러진다.

ABSTRACT

Assuming humans are (approximately) rational enables robots to infer reward functions by observing human behavior. But people exhibit a wide array of irrationalities, and our goal with this work is to better understand the effect they can have on reward inference. The challenge with studying this effect is that there are many types of irrationality, with varying degrees of mathematical formalization. We thus operationalize irrationality in the language of MDPs, by altering the Bellman optimality equation, and use this framework to study how these alterations would affect inference. We find that wrongly modeling a systematically irrational human as noisy-rational performs a lot worse than correctly capturing these biases -- so much so that it can be better to skip inference altogether and stick to the prior! More importantly, we show that an irrational human, when correctly modelled, can communicate more information about the reward than a perfectly rational human can. That is, if a robot has the correct model of a human's irrationality, it can make an even stronger inference than it ever could if the human were rational. Irrationality fundamentally helps rather than hinder reward inference, but it needs to be correctly accounted for.

연구 동기 및 목표

• 다양한 로봇 모델과 함께 인간의 비합리성이 보상 추론 성능에 미치는 영향을 조사하는 것.
• 비합리적인 인간 행동이 보상 학습에 있어 합리적인 행동보다 더 정보적인가를 판단하는 것.
• 비합리적인 인간을 잘못 모델링한 경우와 정확히 모델링한 경우의 성능 격차를 평가하는 것.
• 비합리성의 근사 모델이 여전히 표준적인 노이즈가 있는 합리성 가정을 능가하는가를 탐색하는 것.
• 로봇이 인간의 비합리성을 정확히 모델링할 경우 보상 추론 성능의 상한선을 평가하는 것.

제안 방법

• MDP에서 벨만 최적성 방정식에서의 이탈로 비합리성을 수식화함: 불완전한 최대화 또는 편향된 전이 함수 포함.
• 다양한 비합리성 유형(예: 단기적 사고, 초기 할인)을 시뮬레이션하기 위해 벨만 업데이트를 체계적으로 수정하는 프레임워크 사용.
• 세 가지 환경(랜덤 MDP, 격자도시, 자율주행 도메인)에서 로그 손실을 메트릭으로 사용해 보상 추론 성능 평가.
• 노이즈가 있는 합리성(볼츠만), 단기적 계획자, 정확히 지정된 비합리성 모델 등 다양한 인간 모델에서의 추론 성능 비교.
• 정책과 보상 간의 상호정보량 측정을 통해 비합리성이 정보량을 증가시키는 이론적 설명 제공.
• 매개수 및 유형의 잘못된 지정을 포함한 분석 실험을 통해 비합리성 모델링의 강건성 테스트.

실험 결과

연구 질문

• RQ1 비합리적인 인간을 노이즈가 있는 합리성으로 모델링할 경우, 정확한 비합리성 모델을 사용하는 것보다 보상 추론 성능이 열 劣하는가?
• RQ2 비합리적인 인간 행동이 정확히 모델링될 경우, 완전히 합리적인 인간보다 보상에 대한 정보를 더 많이 제공할 수 있는가?
• RQ3 다양한 비합리성 유형에서 행동과 보상 간의 상호정보량은 어떻게 변화하는가?
• RQ4 비합리성의 근사 모델이 여전히 표준적인 노이즈가 있는 합리성 가정을 능가하는가?
• RQ5 로봇이 인간의 비합리성을 정확히 모델링할 경우 보상 추론 성능의 상한선은 무엇인가?

주요 결과

• 비합리성을 정확히 모델링할 경우, 인간이 완전히 합리적이라 하더라도 합리적인 인간을 모델링하는 것보다 보상 추론 성능이 향상된다.
• 단기적 행동은 정책과 보상 간의 상호정보량을 증가시켜 합리적 행동보다 본질적으로 더 정보적인데, 일부 경우에서 합리적 행동은 보상 변화에 영향을 받지 않기 때문이다.
• 로봇이 인간의 합리성을 잘못 가정할 경우(예: 볼츠만 합리성), 특히 체계적인 편향이 존재할 경우, 사전 정보보다도 추론 성능이 크게 열 劣할 수 있다.
• 조금 잘못된 매개수라도 비합리성의 정확한 유형(예: 단기적 사고)을 모델링할 경우, 노이즈가 있는 합리성 가정을 하는 것보다 더 좋은 추론 성능을 낸다.
• 자율주행 도메인에서도 단기적 인간 행동이 합리적 행동보다 더 강력한 보상 추론을 가능하게 했으며, 이는 고차원적이고 연속적인 환경에서도 결과가 유지됨을 확인한다.
• 이론적 분석을 통해 일부 비합리성은 행동과 보상 간의 상호정보량을 임의로 증가시킬 수 있음을 증명하여, 이는 합리적 행동보다 더 정보적인 것으로 나타났다.