[논문 리뷰] MERL: Multi-Head Reinforcement Learning

Yannis Flet-Berliac, Pierre‐Marie Preux|arXiv (Cornell University)|2019. 09. 26.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 정책 그래디언트 업데이트에 문제 특화 지식—특히 분산 설명 비율($τ}^{ex}$)과 미래 상태 예측—을 통합하는 일반적 프레임워크인 MERL을 제안한다. 보상과 이러한 보조 성능 신호를 동시에 최적화함으로써, MERL은 샘플 효율성을 향상시키고 보상 희소성 문제를 완화하며 연속 제어 및 픽셀 기반 환경에서 전이 학습 성능을 향상시켜 표준 PPO 기준선을 능가한다.

ABSTRACT

A common challenge in reinforcement learning is how to convert the agent's interactions with an environment into fast and robust learning. For instance, earlier work makes use of domain knowledge to improve existing reinforcement learning algorithms in complex tasks. While promising, previously acquired knowledge is often costly and challenging to scale up. Instead, we decide to consider problem knowledge with signals from quantities relevant to solve any task, e.g., self-performance assessment and accurate expectations. $\\mathcal{V}^{ex}$ is such a quantity. It is the fraction of variance explained by the value function $V$ and measures the discrepancy between $V$ and the returns. Taking advantage of $\\mathcal{V}^{ex}$, we propose MERL, a general framework for structuring reinforcement learning by injecting problem knowledge into policy gradient updates. As a result, the agent is not only optimized for a reward but learns using problem-focused quantities provided by MERL, applicable out-of-the-box to any task. In this paper: (a) We introduce and define MERL, the multi-head reinforcement learning framework we use throughout this work. (b) We conduct experiments across a variety of standard benchmark environments, including 9 continuous control tasks, where results show improved performance. (c) We demonstrate that MERL also improves transfer learning on a set of challenging pixel-based tasks. (d) We ponder how MERL tackles the problem of reward sparsity and better conditions the feature space of reinforcement learning agents.

연구 동기 및 목표

• 문제 중심의, 작업에 종속되지 않는 신호를 통합하여 딥 강화 학습에서의 샘플 비효율성과 보상 희소성 문제를 해결하고자 한다.
• 특수한 작업에 맞게 재설계가 필요 없이 어떤 정책 그래디언트 방법과 환경에도 적용 가능한 일반 목적의 프레임워크를 개발하고자 한다.
• 자기 성능 평가 및 정확한 기대치와 일치하는 표현을 학습하여 정책 일반화 및 전이 학습 성능을 향상시키고자 한다.
• 보조 신호인 $\\mathcal{V}^{ex}$와 미래 상태 예측이 학습을 정규화하고 특징 공간 조건화를 향상시킬 수 있음을 입증하고자 한다.

제안 방법

• 가장 적절한 수익의 추정치와 실제 수익 간의 이질성 측도로, 가치 함수에 의해 설명되는 분산의 비율인 $τ}^{ex}$를 도입한다.
• 정책 네트워크가 주 보상 목표와 함께 $τ}^{ex}$ 및 미래 상태 예측을 위한 보조 헤드를 포함하는 다중 헤드 액터-크리틱 프레임워크인 MERL을 설계한다.
• $τ}^{ex}$ 기반 정규화 항을 정책 그래디언트 목표에 통합하여, 에이전트의 내부 표현이 작업 관련 성능 지표와 더 잘 일치하도록 한다.
• 일반적으로 보조 작업 학습에서 사용되는 경량의, 작업에 종속되지 않는 미래 상태 예측 헤드를 도입하여 특징 학습을 향상시킨다.
• 기본 알고리즘으로 PPO를 사용하여 표준 연속 제어 벤치마크(MuJoCo)와 픽셀 기반 아케이드 환경(Atari)에 프레임워크를 적용한다.
• 각 헤드가 서로 다른 보완적인 신호를 제공하여 정책 최적화를 이끄는 다중 헤드 아키텍처를 사용함으로써, 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 정책 그래디언트 업데이트에 자기 성능 평가 측도인 $τ}^{ex}$를 통합하면 샘플 효율성과 학습 안정성이 향상되는가?
• RQ2 $τ}^{ex}$와 미래 상태 예측 헤드를 결합하면 복잡한 제어 작업에서 더 나은 일반화 및 전이 학습 성능을 달성하는가?
• RQ3 다양한 환경에서 MERL은 표준 PPO 대비 성능과 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ4 MERL은 밀도 높고 정보가 풍부한 감독 신호를 제공함으로써 보상 희소성 문제를 어느 정도 완화하는가?
• RQ5 MERL의 보조 헤드는 예를 들어 Ms. Pac-Man에서 다른 아케이드 게임으로의 전이에 있어 이식 가능한 표현을 학습할 수 있는가?

주요 결과

• MERL은 MuJoCo 벤치마크의 9개 연속 제어 작업 전부에서 표준 PPO를 능가하며, 샘플 효율성과 최종 성능 측면에서 일관된 향상을 보였다.
• Atari 2600 게임에서 MERL은 전이 학습 성능이 뛰어나, Ms. Pac-Man에서 다른 게임으로 전이할 때 평균 성능이 표준 PPO보다 높았다.
• 제거 실험 결과, $τ}^{ex}$와 미래 상태 예측 헤드를 함께 사용할 경우 각각을 별도로 사용할 때보다 더 나은 성능을 달성했으며, $τ}^{ex}$ 헤드만 사용할 경우 HalfCheetah에서 성능이 저하되었지만 조합 시 성능 향상이 이루어졌다.
• MERL의 계산 오버헤드는 매우 낮았으며, MuJoCo에서는 5%, Atari 작업에서는 7%에 불과하여 실세계 구현에 실용적이다.
• MERL 헤드는 작업에 종속되지 않은 일반적인 표현을 학습하여 특징 공간 조건화를 향상시키고 다양한 환경 간 일반화 능력을 향상시켰다.
• 프레임워크는 작업 성능에 대한 고차원적 통찰을 최적화 과정과 연결함으로써 정책 네트워크를 성공적으로 정규화하였으며, 희소 보상 신호에 대한 의존도를 감소시켰다.