[논문 리뷰] What Can Learned Intrinsic Rewards Capture?

Zeyu Zheng, Junhyuk Oh외 6명|arXiv (Cornell University)|2019. 12. 11.

Reinforcement Learning in Robotics참고 문헌 45인용 수 5

한 줄 요약

이 논문은 여러 에이전트 수명에 걸쳐 장기적인 탐색과 이득 지식을 포착하는 내재 보상 함수를 학습하기 위한 확장 가능한 메타기울기 프레임워크를 제안한다. 수명 전체 동안의 수익을 최대화하도록 순환 신경망을 훈련시킴으로써, 비정상적인 내재 보상을 학습하며, 이는 새로운 에이전트, 행동 공간, 학습 알고리즘으로 일반화된다 — 정책 기반의 '어떻게 하기' 전이와는 다를 바 있는 영구적인 '무엇을 할 것인지' 지식의 중심을 제공한다.

ABSTRACT

The objective of a reinforcement learning agent is to behave so as to maximise the sum of a suitable scalar function of state: the reward. These rewards are typically given and immutable. In this paper, we instead consider the proposition that the reward function itself can be a good locus of learned knowledge. To investigate this, we propose a scalable meta-gradient framework for learning useful intrinsic reward functions across multiple lifetimes of experience. Through several proof-of-concept experiments, we show that it is feasible to learn and capture knowledge about long-term exploration and exploitation into a reward function. Furthermore, we show that unlike policy transfer methods that capture "how" the agent should behave, the learned reward functions can generalise to other kinds of agents and to changes in the dynamics of the environment by capturing "what" the agent should strive to do.

연구 동기 및 목표

• 내재 보상 함수가 강화학습에서 복잡하고 장기적인 지식을 효과적으로 포착할 수 있는 지점이 될 수 있는지 조사하기 위해.
• 다른 환경과 에이전트 다이내믹스 간에 일반화되는 효과적인 비정상적인 내재 보상을 학습하는 데 도전하기 위해.
• 학습된 보상 함수가 새로운 행동 공간과 학습 알고리즘으로 일반화될 때 정책 전이 방법보다 우수한 성능을 보일 수 있는지 탐색하기 위해.
• 내재 보상 함수가 정책에 포함된 '어떻게 하기' 지식과는 다르게 더 유연한 '무엇을 할 것인지' 지식을 어떻게 캡처할 수 있는지 보여주기 위해.

제안 방법

• 에이전트가 각 에피소드의 시작 시 재초기화되며, 단일 공유 내재 보상 함수를 사용해 학습하는 다수 수명 강화학습 설정을 채택하기 위해.
• 에이전트 수명 전체에 걸쳐 펼쳐진 순환 신경망을 사용해 내재 보상 함수를 매개변수화하여 장기적인 시간적 의존성을 모델링하기 위해.
• 누적 외재 수익의 잔여량을 추정하기 위해 수명 가치 함수를 사용하여 장기간의 경험 시퀀스에 걸쳐 신용 할당을 가능하게 하기 위해.
• 에이전트의 전체 수명 동안 누적 외재 수익을 최대화하도록 메타기울기 최적화를 통해 내재 보상을 훈련하기 위해.
• 정책 업데이트와 보상 함수 간의 미분 가능 상호작용을 활용해 내재 보상의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 학습 과정을 정책(θ)과 내재 보상(η) 매개변수로 분해하여 '무엇을 할 것인지' 지식의 모듈러한 전이를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 학습된 내재 보상 함수가 여러 에피소드에 걸쳐 장기적인 탐색과 이득 행동을 효과적으로 포착할 수 있는가?
• RQ2 정책 전이 방법과는 달리, 내재 보상이 새로운 행동 공간이나 학습 알고리즘을 가진 새로운 에이전트로 일반화되는가?
• RQ3 샘플 효율성과 점점 도달하는 성능 측면에서, 내재 보상의 성능이 RL2와 MAML와 같은 정책 전이 방법과 비교해 어떻게 되는가?
• RQ4 비정상적인 환경에서 내재 보상이 과제에 따라 달라지는 규칙성을 어느 정도 포착할 수 있는가?
• RQ5 효율적인 과제 분포에 대해 효과적일 경우, 알려진 내재 동기 메커니즘(예: 호기심)과 유사한 성질을 띠는 학습된 보상 함수가 나타나는가?

주요 결과

• 학습된 내재 보상 함수는 낯설음 탐색과 환경 변화 예측과 같은 장기적인 탐색 및 이득 행동을 성공적으로 포착한다.
• 무작위 기반선보다 우수하며, 간접적 보상 가이던스에 의존하고도 초기 정책이 무작위였음에도 불구하고 RL2와 유사한 점점 도달 성능을 달성한다.
• 행동 공간이 재배열되거나 확장된 새로운 에이전트로 내재 보상이 효과적으로 일반화되며, 보상은 행동이 아닌 상태 변화에 기반하기 때문이다.
• 학습된 내재 보상은 Q-러닝과 같은 다른 학습 알고리즘으로도 전이 가능하여, 기반 정책 업데이트 메커니즘과 독립적임을 입증한다.
• RL2와 MAML와 같은 정책 전이 방법과는 달리, 내재 보상 접근은 행동 공간과 학습 알고리즘의 변화에 잘 일반화되며, '무엇을 할 것인지' 지식이 '어떻게 할 것인지' 지식보다 유리함을 드러낸다.
• 이 프레임워크는 과제 분포에 따라 효과적일 경우, 과제에 독립적인 내재 동기 신호(예: 호기심)의 기원을 가능하게 한다.