[논문 리뷰] Inverse Reward Design

Dylan Hadfield-Menell, Smitha Milli외 3명|arXiv (Cornell University)|2017. 11. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 21인용 수 63

한 줄 요약

논문은 설계자가 제공한 대리 보상으로부터 진정한 목표를 추론하기 위한 역보상 설계(IRD)를 정의하고, 잘못된 보상 구성 및 보상 해킹을 완화하기 위해 위험 회피 계획과 함께 IRD를 사용한다.

ABSTRACT

Autonomous agents optimize the reward function we give them. What they don't know is how hard it is for us to design a reward function that actually captures what we want. When designing the reward, we might think of some specific training scenarios, and make sure that the reward will lead to the right behavior in those scenarios. Inevitably, agents encounter new scenarios (e.g., new types of terrain) where optimizing that same reward may lead to undesired behavior. Our insight is that reward functions are merely observations about what the designer actually wants, and that they should be interpreted in the context in which they were designed. We introduce inverse reward design (IRD) as the problem of inferring the true objective based on the designed reward and the training MDP. We introduce approximate methods for solving IRD problems, and use their solution to plan risk-averse behavior in test MDPs. Empirical results suggest that this approach can help alleviate negative side effects of misspecified reward functions and mitigate reward hacking.

연구 동기 및 목표

• 자율 에이전트의 잘못된 보상 함수 문제를 동기 부여하고 형식화한다.
• 훈련 MDP 내에서 대리 보상으로부터 진정한 보상을 추론하는 IRD 문제를 정의한다.
• IRD posterior를 근사하기 위한 확률적/베이지안 접근법을 제시한다.
• 위험 회피 계획과 결합된 IRD가 보상 잘못 명세에 대한 강건성을 어떻게 향상시키는지 시연한다.

제안 방법

• 훈련 MDP 내에서 디자이너의 진짜 보상에 대한 관측으로서 대리 보상을 모델링한다.
• IRD 문제를 P(w*|~w, ~M)로서의 진짜 보상 분포를 추론하는 문제로 정의한다.
• 대리 보상이 최대 엔트로피 궤적 분포를 통해 대략적으로 최적의 디자이너로부터 온 관측 모델을 도입한다.
• 샘플링 기반(Sample-Z) 및 MaxEnt-Z 방법을 포함하여 비정규화 상수의 계산이 어려운 IRD 포스터를 다루기 위한 효율적 근사치를 개발한다.
• IRD를 베이지안 역강화학습 및 실용적 언어/실용 해석과 연관지어 추론 접근을 정당화한다.
• 테스트 MDP에서 의사결정 시 IRD posterior를 활용하기 위해 위험 회피 계획을 적용한다.

실험 결과

연구 질문

• RQ1 대리 보상을 받고 훈련 환경을 고려할 때 디자이너의 진짜 목표를 어떻게 추론할 수 있는가?
• RQ2 IRD 기반 포스터가 미지의 환경에서 보상 잘못 명세를 피하는 데 에이전트에 도움을 주는가?
• RQ3 가능하지 않은 가능도(doubly-intractable problems)에도 불구하고 IRD를 효율적으로 근사할 수 있는가?
• RQ4 IRD 포스터를 사용한 위험 회피 계획이 부정적 부작용과 보상 해킹을 줄이는가?
• RQ5 IRD가 표준 역강화학습과 어떻게 연결되고 차이가 있는가?

주요 결과

• 위험 회피 계획과 결합된 IRD는 설계 중에 보지 못한 위험한 지역을 통과하는 등의 부정적 부작용을 줄인다.
• IRD 포스터는 진짜 목표에 대한 불확실성을 고려하여 보상 해킹에 대한 헤지에 도움을 준다.
• 근사 추론 기법(Sample-Z, MaxEnt-Z)은 관련 도메인에서 IRD 포스터의 실용적 추정을 가능하게 한다.
• 잠재적 보상(latent-reward) 설정에서 적절한 특성이 관찰되지 않는 경우에도 IRD는 대리 보상을 맥락 의존적 관측으로 간주하여 에이전트를 재앙적 결과를 피하도록 안내한다.
• 이 접근 방식은 단순한 도메인에서 강건성을 보이며 더 복잡한 보상 잘못 명세를 다루는 방향으로의 길을 제시한다.