[논문 리뷰] Learning to Explore with Meta-Policy Gradient

Tian-Bing Xu, Qiang Liu외 2명|arXiv (Cornell University)|2018. 03. 13.

Reinforcement Learning in Robotics참고 문헌 27인용 수 26

한 줄 요약

이 논문은 DDPG에 대해 독립적이고 적응형 탐색 정책을 학습하는 메타정책 기울기 알고리즘을 제안한다. 이는 국소적 노이즈 주입을 넘어서 전역 탐색을 가능하게 한다. 탐색 정책을 주 DDPG 정책의 성능 향상 최적화를 목표로 하는 메타학습자로 간주함으로써, 이 방법은 다양한 MuJoCo 제어 과제에서 표본 효율성과 성능이 크게 향상되었으며, 표준 DDPG 및 가우시안 탐색보다 뛰어난 성능을 보였다.

ABSTRACT

The performance of off-policy learning, including deep Q-learning and deep deterministic policy gradient (DDPG), critically depends on the choice of the exploration policy. Existing exploration methods are mostly based on adding noise to the on-going actor policy and can only explore \emph{local} regions close to what the actor policy dictates. In this work, we develop a simple meta-policy gradient algorithm that allows us to adaptively learn the exploration policy in DDPG. Our algorithm allows us to train flexible exploration behaviors that are independent of the actor policy, yielding a \emph{global exploration} that significantly speeds up the learning process. With an extensive study, we show that our method significantly improves the sample-efficiency of DDPG on a variety of reinforcement learning tasks.

연구 동기 및 목표

• DDPG와 같은 오프폴리시 강화학습 방법에서 국소적 탐색의 한계를 해결하기 위해, 고정된 노이즈 주입(예: 가우시안 또는 오르니시에르)에 의존하는 기존 방법이 현재 정책 주변의 상태에 국한된 탐색에 머무르는 문제를 해결한다.
• 주어진 액터 정책에 독립적으로 고품질의 다양한 경험 데이터를 생성할 수 있는 적응형 탐색 정책을 가능하게 하는 메타학습 프레임워크를 개발한다.
• 주 DDPG 정책를 안내하는 확률적 탐색 정책을 학습시켜 연속 제어 과제에서 표본 효율성과 학습 속도를 향상시킨다.
• 전역적이고 정책 기반 탐색이 전통적인 노이즈 기반 탐색보다 수익과 수렴 속도 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 이 방법은 탐색 정책(선생)이 주 DDPG 정책(학생)의 성능 향상도를 기반으로 최적화되는 메타정책 기울기 알고리즘을 도입한다. 이는 선생이 수집한 트레이젝터리에 기반해 학습된 학생 정책의 성능 향상을 기반으로 한다.
• 탐색 정책는 온폴리시 정책 기울기 방법을 사용하여 학습되며, 보상 신호는 선생이 수집한 데이터에 기반해 학생 정책의 성능 향상도이다.
• 선생 정책는 학생 정책의 성능 향상 기대치를 최대화할 수 있도록 확률적 행동을 생성함으로써, 상태 공간의 다양한 영역과 잠재적으로 유익한 영역을 탐색할 수 있다.
• 학생 정책는 선생이 수집한 경험 데이터를 기반으로 학습되며, 각 업데이트 전후의 성능 평가를 통해 성능 향상 신호를 계산하고, 이를 메타최적화에 사용한다.
• 이 방법은 탐색을 액터 정책에서 분리함으로써, 선생이 현재 정책의 행동 주변이 아닌 전역적으로 탐색할 수 있도록 한다.
• 이 방법은 t-SNE 시각화를 사용하여 상태 방문 분포를 분석하여, 선생은 다양한 모드를 탐색하는 반면 학생은 상호보완적인 영역에서 학습하고 있음을 확인한다.

실험 결과

연구 질문

• RQ1 메타학습된 탐색 정책은 오프폴리시 딥 강화학습에서 표본 효율성을 크게 향상시킬 수 있는가?
• RQ2 DDPG에서 고정된 노이즈 주입을 통한 국소적 탐색과 비교해, 학습된 선생 정책를 통한 전역 탐색은 어떻게 다른가?
• RQ3 선생 정책는 학생이 새로운 행동이나 높은 수익을 얻는 행동을 발견하는 데 얼마나 효과적으로 기여하는가?
• RQ4 메타정책 기울기 프레임워크는 학생의 학습 진전에 따라 탐색 정책가 적응적으로 향상되는가?
• RQ5 선생 정책는 학생의 집중 영역과 상호보완적인 상태 영역을 탐색함으로써 더 빠르고 안정적인 학습을 이끌 수 있는가?

주요 결과

• Hopper 환경에서 제안된 방법은 평균 수익 7718을 달성했으며, 표준 DDPG 베이스라인의 2795보다 뚜렷한 향상이 있었다. 이는 표본 효율성 향상의 증거이다.
• Pendulum 과제에서 방법은 200,000 스텝 이내에 수렴했고, DDPG(2830)보다 높은 평균 수익(8530)을 기록하여 더 빠르고 안정적인 학습을 보였다.
• 선생 정책는 높은 엔트로피와 다양한 상태 방문 패턴을 보였으며, 특히 Inverted Double Pendulum에서 상태 공간의 여러 모드를 커버했다. 이는 DDPG의 국소적 탐색과 대비된다.
• 학생 정책는 항상 선생과 상호보완적인 상태 영역을 방문하여 다양한 행동에 대한 체계적인 학습을 가능하게 하고, 전체 정책의 강건성을 향상시켰다.
• Reacher 과제에서 방법은 DDPG의 수익을 따라가지만 분산이 더 낮아, 훈련의 안정성이 향상된 것으로 나타났다.
• t-SNE 시각화 결과, 선생은 전역적으로 탐색하고 상태 공간의 다양한 모드로 분산되었으며, 학생은 이러한 다양성 있는 예시를 기반으로 학습함으로써 뛰어난 성능을 달성했다.