[논문 리뷰] Surprising Negative Results for Generative Adversarial Tree Search

Kamyar Azizzadenesheli, Brandon Yang외 3명|arXiv (Cornell University)|2018. 06. 15.

Reinforcement Learning in Robotics참고 문헌 47인용 수 14

한 줄 요약

이 논문은 생성적 적대적 트리 탐색(GATS)을 제안한다. GATS는 GAN 기반의 동역학 모델을 사용해 환경의 롤아웃을 생성하고, DQN을 통한 가치 추정을 수행하는 깊이 제한된 몬테카를로 트리 탐색(MCTS)을 수행하는 모델 기반 강화학습 알고리즘이다. 이론적으로 편향-분산 제어와 샘플 효율성에서 유리한 점이 있지만, Atari 환경에서는 표준 DQN을 능가하지 못하며, 학습된 생성 모델을 사용하는 깊이 제한된 MCTS에 심각한 한계가 있음을 드러낸다.

ABSTRACT

While many recent advances in deep reinforcement learning (RL) rely on model-free methods, model-based approaches remain an alluring prospect for their potential to exploit unsupervised data to learn environment model. In this work, we provide an extensive study on the design of deep generative models for RL environments and propose a sample efficient and robust method to learn the model of Atari environments. We deploy this model and propose generative adversarial tree search (GATS) a deep RL algorithm that learns the environment model and implements Monte Carlo tree search (MCTS) on the learned model for planning. While MCTS on the learned model is computationally expensive, similar to AlphaGo, GATS follows depth limited MCTS. GATS employs deep Q network (DQN) and learns a Q-function to assign values to the leaves of the tree in MCTS. We theoretical analyze GATS vis-a-vis the bias-variance trade-off and show GATS is able to mitigate the worst-case error in the Q-estimate. While we were expecting GATS to enjoy a better sample complexity and faster converges to better policies, surprisingly, GATS fails to outperform DQN. We provide a study on which we show why depth limited MCTS fails to perform desirably.

연구 동기 및 목표

• Atari 환경에서 샘플 효율적이고 강건한 모델 기반 강화학습 알고리즘을 설계하기 위해 깊이 생성 모델을 활용한다.
• 생성적 적대적 트리 탐색(GATS)이 샘플 효율성과 최종 정책 성능에서 모델 자유형 DQN을 능가할 수 있는지 조사한다.
• MCTS 내부의 Q-추정에서의 편향-분산 트레이드오프를 분석하고, 계획 품질에 미치는 영향을 평가한다.
• Atari Learning Environment(ALE)에서 다양한 게임 모드와 난이도 간에 생성 동역학 모델(GDM)의 일반화 능력과 도메인 적응 능력을 평가한다.
• 깊이 제한된 MCTS에서 학습된 모델을 사용할 경우 복잡한 환경에서 기대되는 성능 향상이 이루어지지 않는 이유를 이해한다.

제안 방법

• GATS는 상태-행동 쌍에서 고해상도 후속 프레임을 생성하기 위해 워셔스타인 손실와 스펙트럴 정규화를 적용한 조건부 pix2pix GAN 기반의 생성 동역학 모델(GDM)을 사용한다.
• 보상 예측기(RP)는 클리핑된 보상 [-1, 0, 1]을 생성된 궤적에서 분류하여 롤아웃 중 보상 추정을 가능하게 한다.
• 실제 환경 전이 데이터를 기반으로 DQN 또는 DDQN 네트워크를 훈련하여 MCTS의 리프 노드에 대한 Q-값을 추정하고, 실재 상태와 생성된 상태 간의 Q-값을 일치시키기 위해 두 번째 Q-네트워크를 생성된 프레임에서 미세조정한다.
• GATS는 GDM을 사용해 롤아웃을 수행하고 Q-네트워크를 통해 가치 할당을 수행하며, 상한 신뢰도 기반으로 트리 탐색을 이끌어낸다.
• GDM은 실재 전이 데이터로 훈련된 후, 자가 생성 샘플을 사용해 추가로 미세조정되어 10단계 이상의 롤아웃 수명을 연장하면서도 정확도를 유지한다.
• 도메인 적응 평가는 한 게임 모드/난이도에서 학습된 GDM을 다른 모드나 난이도로 이식하는 방식으로 수행되며, 성능은 L1/L2 손실과 정성적 프레임 생성을 통해 측정된다.

실험 결과

연구 질문

• RQ1 GAN 기반의 생성 동역학 모델은 MCTS를 통해 Atari 환경에서 효과적이고 샘플 효율적인 계획을 가능하게 할 수 있는가?
• RQ2 GATS는 모델 기반 강화학습에서 표준 DQN보다 더 낮은 샘플 복잡도와 더 빠른 수렴을 달성하는가?
• RQ3 이론적으로 편향-분산 제어에서 유리한 점이 있음에도 불구하고, 학습된 생성 모델을 사용하는 깊이 제한된 MCTS가 모델 자유형 DQN을 능가하지 못하는 이유는 무엇인가?
• RQ4 GDM은 ALE에서 다양한 게임 모드와 난이도 간에 얼마나 잘 일반화되는가? 도메인 적응에 있어 샘플 효율성은 어떠한가?
• RQ5 생성된 프레임에서의 Q-값 추정이 실재 프레임의 Q-값과 얼마나 일치하는가? 이는 MCTS 성능에 어떤 영향을 미치는가?

주요 결과

• 이론적으로 샘플 효율성 향상과 Q-추정의 편향 감소가 기대되지만, GATS는 테스트한 모든 Atari 환경에서 표준 DQN을 능가하지 못한다.
• 도메인 적응 과정에서 GDM은 훈련 및 테스트 세트에서 낮은 L1 및 L2 손실을 기록하지만, 정성적 분석 결과 Pong와 같은 경우 공의 궤적과 같은 핵심 동역학을 제대로 포착하지 못함을 확인했다.
• GDM은 새로운 게임 모드와 난이도로의 일반화가 효과적으로 이루어지며, Q-네트워크가 요구하는 것보다 수천 개의 샘플로도 적응 가능하다.
• 실재 Q-네트워크(Qθ)와 비교해 생성된 프레임에서 훈련된 Q-네트워크(Qθ′)의 Q-값 예측에 거의 차이가 없음을 확인하여, 실재 상태와 생성된 상태의 표현 간 양호한 일치를 확인했다.
• 자기 생성 샘플을 사용해 계속해서 훈련함으로써 10단계 이상의 롤아웃 품질이 안정적으로 유지되며, 장기 계획에서 모델의 정밀도를 유지했다.
• 강력한 GDM과 RP 성능에도 불구하고, 학습된 모델을 사용하는 깊이 제한된 MCTS는 더 나은 정책을 도출하지 못했으며, 이는 계획 과정이나 트리 탐색 내부의 가치 추정에 근본적인 결함이 있음을 시사한다.