[논문 리뷰] Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices

Evan Zheran Liu, Aditi Raghunathan외 2명|arXiv (Cornell University)|2020. 08. 06.

Reinforcement Learning in Robotics참고 문헌 55인용 수 9

한 줄 요약

이 논문은 문제 ID를 사용하여 태스크 관련 정보를 독립적으로 학습함으로써 탐색과 이용을 분리하는 메타강화학습 알고리즘인 Dream을 제안한다. 문제 ID의 표현을 통해 이용 정책을 훈련하고, 해당 정보만 복구하도록 탐색 정책을 훈련시킴으로써 종단간 훈련에서 발생하는 닭과 계란 문제를 피하며, 희박 보상이 주어지는 3D 탐색 작업에서 이전 방법보다 90% 높은 수익을 달성하면서도 최적의 탐색을 손상시키지 않는다.

ABSTRACT

The goal of meta-reinforcement learning (meta-RL) is to build agents that can quickly learn new tasks by leveraging prior experience on related tasks. Learning a new task often requires both exploring to gather task-relevant information and exploiting this information to solve the task. In principle, optimal exploration and exploitation can be learned end-to-end by simply maximizing task performance. However, such meta-RL approaches struggle with local optima due to a chicken-and-egg problem: learning to explore requires good exploitation to gauge the exploration's utility, but learning to exploit requires information gathered via exploration. Optimizing separate objectives for exploration and exploitation can avoid this problem, but prior meta-RL exploration objectives yield suboptimal policies that gather information irrelevant to the task. We alleviate both concerns by constructing an exploitation objective that automatically identifies task-relevant information and an exploration objective to recover only this information. This avoids local optima in end-to-end training, without sacrificing optimal exploration. Empirically, DREAM substantially outperforms existing approaches on complex meta-RL problems, such as sparse-reward 3D visual navigation. Videos of DREAM: https://ezliu.github.io/dream/

연구 동기 및 목표

• 종단간 메타-RL에서 탐색과 이용이 상호로 신호를 주고받는 닭과 계란 문제를 해결하기 위해.
• 이전의 분리된 접근 방식에서 태스크에 관련 없는 정보를 수집하는 비최적의 탐색 정책을 방지하기 위해.
• 각각의 명확한 목표를 통해 탐색과 이용의 일관되고 최적의 학습을 가능하게 하기 위해.
• 태스크 관련 정보 학습과 탐색 과정을 분리함으로써 메타-RL의 샘플 효율성을 향상시키기 위해.
• 분리된 접근 방식이 최적의 탐색 행동을 희생시키지 않고도 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 사용자 정의된 문제 ID(원-핫 벡터)를 이용 정책의 태스크 관련 정보 소스로 활용한다.
• 학습된 문제 ID 표현에 조건부로 이용 정책를 훈련하며, 이는 불필요한 정보를 제거하기 위해 정보 버블러스트 기반 정규화를 통해 강화된다.
• 문제 ID 표현에 암묵적으로 포함된 태스크 관련 정보를 회귀 목적으로 하는 탐색 목적 함수를 설계한다.
• 상태-행동 쌍의 경험적 빈도를 사용하여 탐색 트레이젝터리에서 문제 ID로 매핑하는 디코더 $\hat{q}(\mu \mid \tau^{\text{exp}}_{\mathbf{a}})$ 를 추정한다.
• 추정된 디코더를 기반으로 탐색 Q-값 $\hat{Q}^{\text{exp}}$ 을 추정함으로써, 복구되는 정보가 오직 관련 있는 정보만이 되도록 보장한다.
• 이론적 일致성 증명: 충분한 용량과 데이터가 있을 경우, 개별 목표를 최적화하면 최적의 정책이 도출됨을 증명한다.

실험 결과

연구 질문

• RQ1 메타-RL에서 탐색과 이용을 분리함으로써 종단간 훈련의 닭과 계란 문제를 제거할 수 있으며, 최적의 탐색 행동을 손상시키지 않을 수 있는가?
• RQ2 별도의 탐색 목적 함수는 태스크 관련 정보만 복구할 수 있으며, 비최적의 데이터 수집을 방지할 수 있는가?
• RQ3 문제 ID 표현을 통한 이용 학습이 종단간 훈련에 비해 샘플 효율성이 향상되는가?
• RQ4 제안된 방법은 복잡하고 희박 보상 환경에서 최첨단 메타-RL 알고리즘보다 더 높은 수익을 달성할 수 있는가?
• RQ5 분리된 목적 함수는 이론적으로 일관성이 있으며, 이를 최적화하면 최적의 정책이 도출되는가?

주요 결과

• Dream은 희박 보상이 주어지는 3D 시각적 탐색 벤치마크에서 Pearl, E-RL2, Import, VariBAD와 같은 최첨단 방법보다 90% 높은 수익을 달성한다.
• 이론적 분석을 통해 Dream은 종단간 접근 방식인 RL2에 비해 샘플 복잡도를 $|\mathcal{A}|^{H}|\mathcal{M}|$ 배 감소시킴을 보여준다.
• Dream은 $\mathcal{O}(|\mathcal{A}|^{H}\log|\mathcal{A}|^{H})$ 의 기대 샘플 수에서 최적의 탐색 정책을 학습하지만, RL2는 $\Omega(|\mathcal{A}|^{2H}|\mathcal{M}|\log|\mathcal{A}|^{H})$ 의 샘플 수가 필요하다.
• 이 방법은 교육적 벤치마크와 실제 세계 유사 3D 탐색 작업에서 복잡한 탐색 전략을 성공적으로 학습한다.
• 문제 ID 표현에 대한 정보 버블러스트는 이용을 위한 태스크 관련 정보만 유지됨을 보장한다.
• 경험적 결과는 Dream이 국소 최적값을 피하고 동시에 최적의 탐색과 이용을 달성함을 확인한다.