[논문 리뷰] Sample-Efficient Deep RL with Generative Adversarial Tree Search.

Kamyar Azizzadenesheli, Brandon Yang외 4명|arXiv (Cornell University)|2018. 06. 15.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 학습된 환경 모델과 깊이 제한된 몬테카를로 트리 탐색(MCTS) 및 딥 Q네트워크(DQN)를 결합한 샘플 효율적인 딥 강화학습 방법인 생성적 적대적 트리 탐색(GATS)을 제안한다. 편향-분산 트레이드오프 및 강건성 측면에서 이론적으로 유리한 점이 있지만, GATS는 아타리 환경에서 표준 DQN을 능가하지 못하며, 학습된 모델에 대한 깊이 제한된 MCTS 계획의 한계를 드러낸다.

ABSTRACT

While many recent advances in deep reinforcement learning (RL) rely on model-free methods, model-based approaches remain an alluring prospect for their potential to exploit unsupervised data to learn environment model. In this work, we provide an extensive study on the design of deep generative models for RL environments and propose a sample efficient and robust method to learn the model of Atari environments. We deploy this model and propose generative adversarial tree search (GATS) a deep RL algorithm that learns the environment model and implements Monte Carlo tree search (MCTS) on the learned model for planning. While MCTS on the learned model is computationally expensive, similar to AlphaGo, GATS follows depth limited MCTS. GATS employs deep Q network (DQN) and learns a Q-function to assign values to the leaves of the tree in MCTS. We theoretical analyze GATS vis-a-vis the bias-variance trade-off and show GATS is able to mitigate the worst-case error in the Q-estimate. While we were expecting GATS to enjoy a better sample complexity and faster converges to better policies, surprisingly, GATS fails to outperform DQN. We provide a study on which we show why depth limited MCTS fails to perform desirably.

연구 동기 및 목표

• 환경 모델의 비지도 데이터를 활용하여 샘플 효율적인 딥 강화학습 알고리즘을 개발한다.
• 모델 기반 계획과 딥 Q네트워크를 트리 탐색 프레임워크에서 결합한 효과성을 조사한다.
• 학습된 모델 기반 계획 시스템 내에서 Q-추정의 편향-분산 트레이드오프를 분석한다.
• 왜 깊이 제한된 MCTS가 학습된 모델에 적용되었을 때 아타리 환경에서 모델 자유형 DQN을 능가하지 못하는지 이해한다.

제안 방법

• 비지도 데이터를 사용하여 아타리 환경의 깊이 있는 생성 모델을 학습하여 환경 역학을 표현한다.
• 학습된 모델에 깊이 제한된 몬테카를로 트리 탐색(MCTS)을 적용하여 행동을 계획한다.
• MCTS 트리의 리프 노드에서 Q-값을 추정하기 위해 딥 Q네트워크(DQN)를 사용하여 탐색과 계획을 이끌어낸다.
• 환경 모델의 품질과 일반화 능력을 향상시키기 위해 생성적 적대적 훈련 목표를 적용한다.
• 모델 불확실성 하에서 Q-추정의 편향-분산 트레이드오프에 대한 이론적 분석을 구현한다.
• 실제 환경 상호작용이 필요 없이 MCTS 동안 궤적을 시뮬레이션하기 위해 학습된 모델을 사용한 롤아웃 전략을 구현한다.

실험 결과

연구 질문

• RQ1 학습된 환경 모델, MCTS, DQN을 조합하면 모델 자유형 DQN보다 더 높은 샘플 효율성과 빠른 수렴을 달성할 수 있는가?
• RQ2 모델 기반 계획 시스템 내에서 Q-추정의 편향-분산 트레이드오프는 성능에 어떻게 영향을 미치는가?
• RQ3 왜 깊이 제한된 MCTS가 학습된 모델에 적용되었을 때 아타리 환경에서 표준 DQN을 능가하지 못하는가?
• RQ4 지속적 제어 설정에서 깊이 제한된 MCTS가 학습된 생성 모델에 적용되었을 때의 주요 실패 유형은 무엇인가?
• RQ5 환경 모델의 적대적 훈련이 GATS의 계획 성능 향상에 어느 정도 기여하는가?

주요 결과

• GATS는 편향-분산 제어 측면에서 이론적 이점이 있음에도 불구하고 아타리 환경에서 표준 DQN을 능가하지 못한다.
• 깊이 제한된 MCTS 구성 요소는 장기적인 수평에서 학습된 모델의 오차 전파로 인해 비최적의 계획을 초래한다.
• MCTS 리프에서의 Q-추정은 모델 정확도에 민감하여 모델 기반 계획의 이점을 약화시킨다.
• 생성적 적대적 훈련 목표의 사용은 모델 품질을 향상시키지만, 깊이 제한된 탐색의 구조적 한계를 상쇄하지 못한다.
• 이 연구는 테스트된 아타리 환경에서 학습된 모델을 기반으로 한 모델 기반 계획이 모델 자유형 DQN만큼 샘플 효율적이지 않다는 것을 드러낸다.
• 실패 원인은 깊이 제한된 MCTS가 불완전한 모델에서 장기적인 롤아웃 동안 정확한 가치 전파를 유지하지 못하기 때문으로 기인된다.