[논문 리뷰] MULEX: Disentangling Exploitation from Exploration in Deep RL

Lucas Beyer, Damien Vincent외 4명|arXiv (Cornell University)|2019. 07. 01.

Reinforcement Learning in Robotics참고 문헌 25인용 수 8

한 줄 요약

MULEX는 탐색과 이용을 명시적으로 분리하여 각 목적을 별도의 정책으로 최적화하는 새로운 딥 강화학습 프레임워크를 제안한다. 단일 재플레이 버퍼에서 전이를 공유하고 오프-폴리시 방법을 사용함으로써, MULEX는 뛰어난 샘플 효율성과 강건성을 달성하며, 특히 보상이 희박하고 도전적인 환경(예: Montezuma's Revenge 변종)에서 $\epsilon$-greedy 및 추가 보너스 방법과 같은 기준 모델들을 능가한다.

ABSTRACT

An agent learning through interactions should balance its action selection process between probing the environment to discover new rewards and using the information acquired in the past to adopt useful behaviour. This trade-off is usually obtained by perturbing either the agent's actions (e.g., e-greedy or Gibbs sampling) or the agent's parameters (e.g., NoisyNet), or by modifying the reward it receives (e.g., exploration bonus, intrinsic motivation, or hand-shaped rewards). Here, we adopt a disruptive but simple and generic perspective, where we explicitly disentangle exploration and exploitation. Different losses are optimized in parallel, one of them coming from the true objective (maximizing cumulative rewards from the environment) and others being related to exploration. Every loss is used in turn to learn a policy that generates transitions, all shared in a single replay buffer. Off-policy methods are then applied to these transitions to optimize each loss. We showcase our approach on a hard-exploration environment, show its sample-efficiency and robustness, and discuss further implications.

연구 동기 및 목표

• 딥 강화학습에서 오랫동안 지속된 탐색-이용 갈등 문제를 분리된 목적함수 최적화를 통해 해결한다.
• 공유 정책나 보상 형상화를 통해 탐색과 이용을 뒤섞는 기존 방법의 한계를 극복한다.
• 기존 탐색 전략이 실패하는 희박한 보상 환경에서 샘플 효율성과 강건성을 향상시킨다.
• 탐색 보너스의 안내나 메타파rameter 조정이 필요 없이 안정적이고 확장 가능한 학습을 가능하게 한다.
• 다양한 내재적 탐색 보너스와 오프-폴리시 알고리즘의 통합을 지원하는 일반적인 프레임워크를 제공한다.

제안 방법

• 진정한 작업 보상(이용)을 위한 하나의 손실과 탐색 목적(예: 카운트 기반 보너스)을 위한 다른 손실들을 동시에 최적화한다.
• 각 손실을 바탕으로 별도의 정책을 학습시켜 전이를 생성하며, 이를 모두 하나의 공유 재플레이 버퍼에 저장한다.
• 공유된 경험 버퍼를 사용하여 오프-폴리시 딥 강화학습 알고리즘(예: DQN)을 각 정책 최적화에 적용한다.
• 정책 갱신 과정을 분리한다: 이용자 정책은 누적 환경 수익을 최대화하는 데 집중하고, 탐색자 정책은 탐색 보너스를 목표로 한다.
• 경험 공유를 통해 정책 간 동적 상호작용을 가능하게 하여, 이용자 정책이 탐색적 트레이젝터리의 이점을 얻을 수 있도록 한다.
• 다양한 내재적 탐색 메커니즘(예: 가짜 카운트, 신선도 측정)의 플러그-앤플레이 통합을 지원하며, 핵심 학습 루프를 수정하지 않는다.

실험 결과

연구 질문

• RQ1 탐색과 이용을 명시적으로 분리함으로써 딥 RL에서 샘플 효율성이 향상될 수 있는가?
• RQ2 학습 속도와 안정성 측면에서 MULEX는 표준 방법(예: $\epsilon$-greedy 및 추가 보너스 접근법)과 비교해 어떻게 성능을 내는가?
• RQ3 불완전하거나 근사적인 탐색 보너스가 존재할 경우 MULEX는 얼마나 잘 유지되는가?
• RQ4 복잡하고 희박한 보상 환경(예: 난이도가 증가하는 Montezuma’s Revenge)에 대해 분리된 접근법이 확장 가능한가?
• RQ5 내재적 보너스의 점진적 감소 없이도 MULEX는 장기적 탐색을 유지할 수 있으며, 이는 수명 주기 학습을 가능하게 하는가?

주요 결과

• MULEX는 어려운 Montezuma’s Revenge 변종에서 $\epsilon$-greedy 및 추가 보너스 기준 모델을 크게 능가하며, 방 크기가 커질수록 중앙값 성능이 향상된다.
• 15×15 방 설정에서 MULEX는 추가 방법보다 더 높은 중앙값 AUC를 기록하여 탐색 보너스를 더 효과적으로 활용함을 입증한다.
• 이동하는 벽 환경에서 MULEX는 두 기준 모델을 일관되게 능가하며, 오해의 소지를 가진 탐색 신호에 대해 강건함을 보였다.
• 스토케스틱 고스트 환경에서는 MULEX가 기준 모델보다 평균 성능이 뛰어나지만, 모든 방법이 어려움을 겪는 것으로 나타나 스트로케스틱 환경에서의 향상 여지가 남아 있음을 시사한다.
• 가짜 카운트 기반 탐색 보너스를 사용할 경우, MULEX는 거의 모든 하이퍼파rameter 설정에서 최대 수익을 달성했고, 추가 방법은 정교한 튜닝이 필요했다.
• 아블레이션 연구를 통해 MULEX는 개별 구성 요소보다 더 빠르고 안정적으로 학습함을 확인하였으며, 분리된 최적화의 유용성을 입증한다.