[논문 리뷰] Impossibility of deducing preferences and rationality from human policy.

Stuart Armstrong, Sören Mindermann|arXiv (Cornell University)|2017. 12. 15.

Game Theory and Applications참고 문헌 31인용 수 9

한 줄 요약

이 논문은 인간의 이성성에 대한 범위론적 가정 없이, 이상적인 데이터가 있더라도 행동만으로는 인간의 보상 함수를 도출하는 것이 불가능하다고 증명한다. 이는 표준 역강화학습(IRL)이 추가적인 범위론적 제약 조건 없이는 실현 불가능하다는 것을 보여주는 자유 정리(Free Theorem)를 수립한다.

ABSTRACT

Inverse reinforcement learning (IRL) attempts to infer human rewards or preferences from observed behavior. However, human planning systematically deviates from rationality. Though there has been some IRL work which assumes humans are noisily rational, there has been little analysis of the general problem of inferring the reward of a human of unknown rationality. The observed behavior can, in principle, be decomposed into two composed into two components: a reward function and a planning algorithm that maps reward function to policy. Both of these variables have to be inferred from behaviour. This paper presents a Free theorem in this area, showing that, without making `normative' assumptions beyond the data, nothing about the human reward function can be deduced from human behaviour. Unlike most No Free Lunch theorems, this cannot be alleviated by regularising with simplicity assumptions. The simplest hypotheses are generally degenerate. The paper will then sketch how one might begin to use normative assumptions to get around the problem, without which solving the general IRL problem is impossible. The reward function-planning algorithm formalism can also be used to encode what it means for an agent to manipulate or override human preferences.

연구 동기 및 목표

• 역강화학습에서 관찰된 행동으로부터 인간의 선호를 이론적으로 추론하는 데서의 한계를 조사하기.
• 인간의 계획이 이성적이지 않을 때 표준 IRL 접근 방식이 실패하는 이유를 규명하기.
• 행동를 보상 함수와 계획 알고리즘으로 분해하는 것이 선호 추론의 핵심 과제임을 체계화하기.
• 관찰된 행동 이외의 범위론적 가정 없이 인간의 보상에 대한 추론이 불가능하다는 것을 입증하기.
• 실제로 이 이론적 불가능성을 극복하기 위해 범위론적 가정이 어떻게 활용될 수 있는지 탐색하기.

제안 방법

• 행동를 보상 함수와 계획 알고리즘의 조합으로 형식화하며, 둘 다 정책으로 사상된다.
• 최소한의 가정 하에 보상 함수에 대한 정보가 행동만으로는 도출될 수 없다는 것을 증명하는 자유 정리를 도입한다.
• 단순성 가정이 정규화에 미치는 역할을 분석하고, 열악한 가설들로 인한 모순성 문제를 해결하지 못함을 보여준다.
• 보상-계획 형식을 사용하여 에이전트가 인간의 선호를 조작하거나 무시하는 경우를 모델링한다.
• 데이터나 단순성만으로는 문제를 해결할 수 없으며, 진행하기 위해선 범위론적 제약 조건이 필요하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 인간의 보상 함수를 추가적인 가정 없이 관찰된 행동으로 유일하게 추론할 수 있는가?
• RQ2 인간의 계획이 이성적이지 않을 때, 역강화학습의 근본적인 이론적 한계는 무엇인가?
• RQ3 단순성 가정을 통한 정규화가 보상과 계획 성분 간의 모호성을 어느 정도 해결할 수 있는가?
• RQ4 이 이론적 불가능성에 대비해 어떻게 의미 있는 범위론적 가정을 도입할 수 있는가?
• RQ5 보상-계획 형식은 인간 선호의 조작을 어떤 방식으로 모델링할 수 있는가?

주요 결과

• 이성성에 대한 범위론적 가정 없이 행동만으로는 인간의 보상 함수를 이론적으로 도출하는 것은 불가능하다.
• 자유 정리는 보상과 계획 알고리즘의 다양한 조합이 동일한 행동을 낳을 수 있음을 보여주며, 이로 인해 추론이 결정 불가능해진다.
• 단순성 기반 정규화는 실패한다. 왜냐하면 일반적으로 가장 단순한 가설들이 열악한 성질을 띠고서도 식별 불가능하기 때문이다.
• 보상-계획 형식은 에이전트가 인간의 선호를 조작하거나 왜곡할 수 있는 프레임워크를 제공한다.
• 범위론적 가정이 없이 일반적인 역강화학습 문제를 해결하는 것은 본질적으로 불가능하다.