[논문 리뷰] Cooperative Inverse Reinforcement Learning

Dylan Hadfield-Menell, Anca D. Dragan외 2명|arXiv (Cornell University)|2016. 06. 09.

Reinforcement Learning in Robotics참고 문헌 25인용 수 322

한 줄 요약

이 논문은 공동 역강화학습(CIRL)을 인간이 보상 함수를 알고 로봇이 이를 학습해 인간의 보상을 극대화하는 두 에이전트, 부분 정보 게임으로 정의하며, 최적 CIRL 정책은 가르치고 배우는 것을 포함하고 POMDP로 축소될 수 있음을 보이고; 또한 근사 방법을 도입하고 apprenticeship learning과 전통 IRL을 분석한다.

ABSTRACT

For an autonomous system to be helpful to humans and to pose no unwarranted risks, it needs to align its values with those of the humans in its environment in such a way that its actions contribute to the maximization of value for the humans. We propose a formal definition of the value alignment problem as cooperative inverse reinforcement learning (CIRL). A CIRL problem is a cooperative, partial-information game with two agents, human and robot; both are rewarded according to the human's reward function, but the robot does not initially know what this is. In contrast to classical IRL, where the human is assumed to act optimally in isolation, optimal CIRL solutions produce behaviors such as active teaching, active learning, and communicative actions that are more effective in achieving value alignment. We show that computing optimal joint policies in CIRL games can be reduced to solving a POMDP, prove that optimality in isolation is suboptimal in CIRL, and derive an approximate CIRL algorithm.

연구 동기 및 목표

• 가치 정렬 문제를 인간이 보상 함수를 알고 로봇이 이를 학습하여 인간의 보상을 극대화하는 협력적인 두 에이전트 게임(CIRL)으로 형식화한다.
• 최적 CIRL 해법은 적극적 가르침(active teaching)과 적극적 학습(active learning)을 수반한다를 보인다.
• CIRL은 보상 매개변수에 대한 로봇의 신념이 충분 통계량이 되어 POMDP 풀이로 축소될 수 있음을 보인다.
• 근사 CIRL 알고리즘을 제안하고 CIRL 내 apprenticeship learning을 분석한다.
• 이론적 및 실증적 결과를 통해 IRL 기반 접근법과 CIRL 기반 가르침 및 학습을 비교한다.

제안 방법

• 보상 매개변수에 대한 비대칭 정보와 동일한 보상으로 구성된 두 플레이어의 마르코프 게임으로 CIRL을 정의한다.
• 조정자-POMDP 축소를 통해 CIRL에서 최적 정책을 구하는 것이 POMDP로 환원됨을 증명한다.
• apprenticeship learning를 CIRL의 하위집합(ACIRL)으로 특징짓고 DBE/표준 IRL이 최적이 아닐 수 있음을 보여준다.
• 선형 보상 가정 하에서 보상에 대한 학습을 최대화하는 지시적 인간 시범을 생성하기 위한 근사 방법을 개발한다.
• 특징 기대값 일치를 이용하고 정규화 항을 포함하는 지시적 시범에 대한 알고리즘적 체계를 제시한다.
• 모바일 로봇 내비게이션 도메인에서 전문가 시범과 최적 응답/지시적 시범을 비교하는 실험을 설명한다.

실험 결과

연구 질문

• RQ1 가치 정렬을 인간과 로봇 간의 협력 게임(CIRL)으로 어떻게 공식화할 수 있는가?
• RQ2 전통적 IRL과 달리 왜 최적 CIRL 정책은 가르침과 능동적 학습을 필요로 하는가?
• RQ3 CIRL은 POMDP로의 축소를 통해 효율적으로 해결될 수 있는가, 그리고 계산 복잡성에 어떤 시사점이 있는가?
• RQ4 apprenticeship learning에서 시범자의 행동은 전문가 시범보다 지시적 최적 응답으로 모델링되는가?
• RQ5 지시적 시범은 전문가에 의한 시범 방식과 비교하여 로봇이 학습한 보상 함수와 이후 성능을 향상시키는가?

주요 결과

• CIRL은 사람의 가치와 로봇을 더 잘 맞추기 위한 협력적 가르침과 학습 행위를 유도한다.
• CIRL은 POMDP로 축소될 수 있어 로봇의 보상 매개변수에 대한 신념이 최적 행동의 충분 통계량이 된다.
• 누가 가르치고 인간이 어떻게 시범을 보이는지가 학습 효율성과 최종 성능에 크게 영향을 줄 수 있으며, IRL 유사한 DBE 정책은 종종 최적이 아니다.
• 실험에서 최적 응답(지시적) 시범은 보상 추론을 개선하고 전문가 시범 정책보다 후회가 더 낮다.
• 선형 보상에서 지시적 시범의 간단한 근사 알고리즘은 로봇을 정보가 풍부한 상태로 유도하여 학습을 향상시킨다.
• 실험 결과는 실제 사용자가 더 효율적으로 가르치기 위해 전략적으로 행동할 수 있음을 강조하여 전통적 IRL 가정에 도전한다.