[논문 리뷰] Reward Shaping via Meta-Learning

Haosheng Zou, Tongzheng Ren외 3명|arXiv (Cornell University)|2019. 01. 27.

Reinforcement Learning in Robotics참고 문헌 23인용 수 41

한 줄 요약

요약: 본 논문은 작업 분포에 걸쳐 보상 형성(reward shaping)을 자동으로 학습하는 메타학습 프레임워크를 제안하며, 가치 기반 접근법을 사용해 최적 형성에 대한 사전 정보(사전 정보) 추출하고 새로운 작업에서 제로샷 또는 소샷 적응을 가능하게 한다. 또한 이 논문은 이산 및 연속 액션 설정은 물론 격자 기반 작업에서 DQN에서 DDPG로의 학습 효율 및 전이 향상을 시연한다.

ABSTRACT

Reward shaping is one of the most effective methods to tackle the crucial yet challenging problem of credit assignment in Reinforcement Learning (RL). However, designing shaping functions usually requires much expert knowledge and hand-engineering, and the difficulties are further exacerbated given multiple similar tasks to solve. In this paper, we consider reward shaping on a distribution of tasks, and propose a general meta-learning framework to automatically learn the efficient reward shaping on newly sampled tasks, assuming only shared state space but not necessarily action space. We first derive the theoretically optimal reward shaping in terms of credit assignment in model-free RL. We then propose a value-based meta-learning algorithm to extract an effective prior over the optimal reward shaping. The prior can be applied directly to new tasks, or provably adapted to the task-posterior while solving the task within few gradient updates. We demonstrate the effectiveness of our shaping through significantly improved learning efficiency and interpretable visualizations across various settings, including notably a successful transfer from DQN to DDPG.

연구 동기 및 목표

• 강화학습에서 보상 형상을 통해 크레딧 배정 비효율성을 동기 부여하고 해결한다.
• 최적의 포텐셜 기반 형상을 위한 작업 분포 사전 정보를 학습하는 메타학습 프레임워크를 개발한다.
• 가치 함수에 의한 크레딧 배정과 최적 형상이 정렬됨을 보이는 이론적 통찰을 도출한다.
• 적은 수의 그래디언트 스텝으로 새로운 작업에 형상 사전을 적응시키는 구현 가능한 알고리즘을 제공한다.
• 다양한 환경과 액션 공간에 걸친 효과성과 전이성을 입증한다.

제안 방법

• 포텐셜 기반 함수로 보상 형상을 정의하고 형상화에 따른 정책 불변성을 보인다.
• Phi(s)=V* M(s)인 형상이 크레딧 배정과 학습 효율성에 대해 최적임을 도출한다.
• 작업 분포에 대한 포텐셜 함수 사전 theta를 학습하기 위한 메타학습 접근법(MAML 기반)을 공식화한다.
• 각 작업에의 적응을 통해 V*를 형상화 사전으로 학습하기 위해 Q*: Q*=V+A를 분해하는 듀얼링-DQN 아키텍처를 사용한다.
• 작업들 간의 Q_theta와 적응된 Q_phi_i 간의 거리를 최소화하여 사전 theta를 학습한다(Eq. 7).
• 메타 테스트 중에는 F(s,a,s')=gamma*V_theta(s')-V_theta(s)로 새로운 작업을 형상화하고, 필요 시 더 빠른 학습을 위해 V_phi_j 및 A_phi_j를 적응시킬 수 있다(Alg. 2).

실험 결과

연구 질문

• RQ1 유사한 작업 분포에 걸쳐 일반화되도록 보상 형상을 자동으로 학습하는 방법은?
• RQ2 메타-학습된 포텐셜 함수 사전이 다양한 액션 공간을 가진 새로운 작업에 대해 효과적인 제로샷 형상화 또는 빠른 적응을 제공할 수 있는가?
• RQ3 최적 포텐셜로의 형상이 이산 및 연속 제어 작업 전반에서 크레딧 배정과 학습 효율성을 향상시키는가?
• RQ4 다른 아키텍처(예: DQN, DDPG) 및 작업 계통(CartPole, 격자 지도)에 걸친 메타-학습 형상화의 전이 가능성은 어느 정도인가?

주요 결과

• Phi(s)=V* (최적 가치)로의 보상 형상은 크레딧 배정에 최적이며, 비최적 행동은 즉시 비양의 보상을 생성한다.
• 메타학습된 포텐셜 함수 사전은 작업 전반에 걸친 학습 효율성과 안정성을 향상시키며 메타 테스트에서 MAML 기준선보다 더 나은 성능을 보인다.
• 제로샷 형상화는 새로운 이산 CartPole 및 격자 맵 작업에서 학습을 크게 가속화하고, 연속 액션 설정의 DDPG에서도 이점을 제공한다.
• 형상은 DQN에서 DDPG로의 전이를 가능하게 하며 이산 및 연속 액션 공간 모두에서 효과적인 적응을 보인다.
• 실험은 공유 상태 공간을 가진 CartPole 변형 및 격자 기반 작업에서 학습 속도와 안정성의 일관된 개선을 보여준다.