[논문 리뷰] A Meta-MDP Approach to Exploration for Lifelong Reinforcement Learning

Francisco Moreno, Philip S. Thomas|arXiv (Cornell University)|2019. 02. 03.

Reinforcement Learning in Robotics참고 문헌 29인용 수 11

한 줄 요약

이 논문은 관련 작업 간의 이전 경험을 활용하여 수명 주기 강화 학습 에이전트가 최적의 탐색 정책을 학습할 수 있도록 하는 메타-MDP 프레임워크를 제안한다. 탐색 전략 탐색을 메타-MDP로 모델링함으로써 에이전트는 새로운 작업에서 학습을 가속화하는 방식으로 탐색 중 행동을 선택하게 되며, Hopper와 같은 연속 제어 작업에서는 MAML보다 최대 4배 높은 수익을 달성한다.

ABSTRACT

In this paper we consider the problem of how a reinforcement learning agent that is tasked with solving a sequence of reinforcement learning problems (a sequence of Markov decision processes) can use knowledge acquired early in its lifetime to improve its ability to solve new problems. We argue that previous experience with similar problems can provide an agent with information about how it should explore when facing a new but related problem. We show that the search for an optimal exploration strategy can be formulated as a reinforcement learning problem itself and demonstrate that such strategy can leverage patterns found in the structure of related problems. We conclude with experiments that show the benefits of optimizing an exploration strategy using our proposed approach.

연구 동기 및 목표

• 새로운 작업에서 다시 학습을 시작하는 경향이 있는 수명 주기 강화 학습에서 비효율적인 탐색 문제를 해결하기 위해.
• 최적의 탐색 정책을 찾는 것을 메타-MDP 문제로 공식화하여 관련 작업 간에 탐색 전략을 전이할 수 있도록 하기 위해.
• 이전 작업의 경험을 활용하여 새로운 작업에서 학습을 가속화하는 일반 탐색 정책을 학습할 수 있음을 보여주기 위해.
• 표준 방법(예: MAML 또는 무작위 탐색)과 비교했을 때 메타-RL을 통한 탐색 정책 학습이 표본 효율성을 향상시킨다는 것을 보여주기 위해.

제안 방법

• 논문은 최적의 탐색 전략을 찾는 문제를 메타-MDP로 모델링하며, 각 에피소드는 작업 해결을 위한 RL 에이전트의 수명 주기와 대응된다.
• 메타-에이전트는 이전에 경험한 MDP들의 탐색 결과를 관찰함으로써 탐색 정책을 학습한다.
• 목표는 새로운 작업에서 누적 수익을 최대화하는 것이며, 메타-MDP에서 강화 학습을 사용하여 탐색 정책을 최적화한다.
• 탐색(학습된 정책에 의해 지도됨)과 이용(작업 특화 정책에 의해 지도됨)을 구분함으로써 에이전트가 효율적인 탐색에 집중할 수 있도록 한다.
• 메타-MDP는 PPO 및 REINFORCE와 같은 알고리즘을 사용하여 훈련되며, 내재 보상과 이전 작업의 경험을 통해 탐색 행동이 형성된다.
• 프레임워크는 이산 제어 및 연속 제어 작업(예: 팔다리 균형, 애니메이션 태스크, Hopper, Ant)에서 평가되며, 안정성과 성능을 위해 하이퍼파rameter가 조정된다.

실험 결과

연구 질문

• RQ1 유사한 MDP에 대한 이전 경험을 활용하여 새로운 작업에서 더 효과적인 탐색 정책을 학습할 수 있는가?
• RQ2 표준 탐색 전략(예: ε-greedy 또는 무작위 행동 선택)과 비교했을 때 메타-RL을 통한 탐색 정책 학습은 표본 효율성 측면에서 어떻게 다른가?
• RQ3 MAML와 같은 방법과 비교했을 때 메타-학습된 탐색 정책은 새로운 작업에서 학습을 얼마나 빠르게 가속화하는가?
• RQ4 메타-MDP 접근법은 이산 제어 및 연속 제어 환경을 포함한 다양한 작업 유형에 대해 일반화되는가?
• RQ5 새로운 작업의 다이내믹스나 상태-행동 공간의 구조가 다를 경우에도 학습된 탐색 정책을 효과적으로 전이할 수 있는가?

주요 결과

• 애니메이션 태스크 클래스에서는 REINFORCE를 사용한 어드바이저가 MAML 대비 약 50% 향상된 성능을 보였으며, 평균 수익은 -779.62에서 -387.27로 감소했다.
• 연속 제어 작업에서 Hopper 태스크는 PPO를 사용한 어드바이저로 인해 수익이 12배 향상되었으며(164.43 대비 13.82), 높은 표본 효율성 향상을 보였다.
• 팔다리 균형(연속) 태스크에서는 어드바이저와 PPO 조합이 평균 수익 438.13을 기록했으며, PPO 단독 사용 시 29.95에 비해 약 15배 높은 성능을 보여 학습 가속화가 뚜렷했다.
• Ant 태스크에서는 MAML가 더 높은 평균 수익을 기록했지만, 어드바이저 방법은 변동성이 낮고 기준 PPO보다도 뛰어난 성능을 보여 안정적인 학습을 보였다.
• 탐색 정책만으로는 작업 완료가 불가능하여 일반적인 이용 정책이 아니라는 점을 확인했지만, 작업 특화 정책과 조합하면 학습에 상당한 기여를 했다.
• 모든 작업에서 500 에피소드 이내에 기준 방법보다 성능이 빠르게 향상되었으며, 수렴 속도가 빠르고 표본 효율성이 뛰어났다.