[논문 리뷰] Reward-rational (implicit) choice: A unifying formalism for reward learning

Hong Jun Jeon, Smitha Milli외 1명|arXiv (Cornell University)|2020. 02. 12.

Reinforcement Learning in Robotics참고 문헌 51인용 수 55

한 줄 요약

이 논문은 다양한 인간 피드백을 보상-합리적 선택으로 다루는 통합 형식을 제시하고, 이러한 피드백으로부터 의도된 보상을 학습하기 위한 베이지안/추론 프레임워크를 파생한다.

ABSTRACT

It is often difficult to hand-specify what the correct reward function is for a task, so researchers have instead aimed to learn reward functions from human behavior or feedback. The types of behavior interpreted as evidence of the reward function have expanded greatly in recent years. We've gone from demonstrations, to comparisons, to reading into the information leaked when the human is pushing the robot away or turning it off. And surely, there is more to come. How will a robot make sense of all these diverse types of behavior? Our key insight is that different types of behavior can be interpreted in a single unifying formalism - as a reward-rational choice that the human is making, often implicitly. The formalism offers both a unifying lens with which to view past work, as well as a recipe for interpreting new sources of information that are yet to be uncovered. We provide two examples to showcase this: interpreting a new feedback type, and reading into how the choice of feedback itself leaks information about the reward.

연구 동기 및 목표

• 보상 함수의 수동 기재가 가지는 난이도와 인간 행동 및 누설된 정보로부터 학습하는 가치에 대한 동기를 부여한다.
• 암묵적이거나 명시적인 옵션 집합과 grounding 함수를 통해 다양한 피드백 유형을 해석하는 통합 형식으로서의 보상-합리적 선택을 도입한다.
• 볼츠만-합리적 모델하에 관찰된 피드백을 바탕으로 보상에 대한 신념을 업데이트하는 베이지안/추론 프레임워크를 제공한다.

제안 방법

• 암묵적/명시적 옵션 집합 C와 옵션을 궤도 분포로 매핑하는 grounding 함수 psi를 사용하여 보상 학습 문제를 정의한다.
• 인간 피드백을 대략 볼츠만-합리적 선택으로 모델링한다: P(c*|r, C) ∝ exp(beta * E[r(psi(c))]), 여기서 beta는 합리성을 포착한다.
• 비교, 시연, 수정, 오프, 언어, 프록시 보상, 보상/처벌, 초기 상태 등 다양한 피드백 유형에 프레임워크를 구체화한다 C와 psi를 지정하여(표에 구체적 매핑 제공).
• 확률 모델 P(r|c*)를 도출하고, 높은 합리성 극한에서 보상이 특정 제약 부등식을 만족해야 함을 보인다.
• 조건부 독립성을 가정하고 우도 항을 곱하여 다중 유형 피드백으로 확장한다(식 6).
• 정보 이득을 극대화하기 위한 피드백 유형의 능동적 선택(식 7) 및 향후 피드백 유형에 대한 메타-선택의 활성성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 단일 보상 학습 형식이 다양한 피드백 양식(비교, 시연, 수정, 언어 등)을 통일할 수 있는가?
• RQ2 grounding 함수가 추상 피드백을 궤도 분포로 매핑하여 인간 선택을 보상 추론과 연결할 수 있는가?
• RQ3 인간의 합리성이 유한할 때 베이지안 추론 및 제약 기반 형식화에 대한 시사점은 무엇인가?
• RQ4 여러 피드백 유형을 어떻게 결합할 수 있으며, 보상 학습을 개선하기 위해 시스템은 피드백 유형 중 어떤 것을 능동적으로 선택해야 하는가?

주요 결과

• 통합적 관점은 많은 피드백 신호가 명시적 grounding을 가진 보상-합리적 선택으로 표현될 수 있음을 보여주며, 공통의 확률적 추론 프레임워크를 가능하게 한다.
• 이 프레임워크는 전통적인 제약 기반 형식과 볼츠만-합리적 형태를 회복하고 암묵적 옵션 집합을 처리하는 원칙 있는 방법을 제공한다.
• 독립성 하에 다중 피드백 유형을 결합하면 보상 추론의 확장 가능한 우도가 생성되고 정보 이득을 위한 피드백 유형의 능동적 선택이 가능해진다.
• 언어 피드백은 보상-합리적 모델 하에서 합리적-언어-행위 패러다임 내에서 실용적 추론으로 이어진다.
• 본 논문은 시스템이 어느 피드백 유형을 요청할지에 대해 추론하는 메타-선택을 다루며, 학습 효율성을 높일 수 있다.