[논문 리뷰] Graying the black box: Understanding DQNs

Tom Zahavy, Nir Ben Zrihem외 1명|arXiv (Cornell University)|2016. 02. 08.

Reinforcement Learning in Robotics참고 문헌 38인용 수 58

한 줄 요약

이 논문은 새로운 반응형 집계 마르코프 결정 과정(SAMDP) 모델을 통해 깊이 강화 학습 네트워크(DQN)의 계층적 시공간 추상화를 식별함으로써 DQN을 해석하는 방법론을 제안한다. 데이터로부터 자동으로 SAMDP를 학습함으로써 저자들은 DQN이 암묵적으로 상태 집합화와 옵션을 학습하고 있음을 밝혀내었으며, 이는 DQN의 성공을 설명하고 정책의 해석, 디버깅, 강건성 향상에 기여한다. 특히 '이젝트(eject)' 메커니즘을 통해 성능을 각각 Breakout에서 36%, Seaquest에서 20%, Pacman에서 4.7% 향상시켰다.

ABSTRACT

In recent years there is a growing interest in using deep representations for reinforcement learning. In this paper, we present a methodology and tools to analyze Deep Q-networks (DQNs) in a non-blind matter. Moreover, we propose a new model, the Semi Aggregated Markov Decision Process (SAMDP), and an algorithm that learns it automatically. The SAMDP model allows us to identify spatio-temporal abstractions directly from features and may be used as a sub-goal detector in future work. Using our tools we reveal that the features learned by DQNs aggregate the state space in a hierarchical fashion, explaining its success. Moreover, we are able to understand and describe the policies learned by DQNs for three different Atari2600 games and suggest ways to interpret, debug and optimize deep neural networks in reinforcement learning.

연구 동기 및 목표

• 딥 Q-네트워크(DQN)의 해석 가능성 격차를 해결하기 위해, Atari 게임에서의 성공에도 불구하고 일반적으로 흑박상자로 간주되는 DQN의 문제를 다루기 위함.
• DQN이 명시적 설계 없이도 계층적 상태 추상화와 옵션을 암묵적으로 어떻게 학습하는지 이해하기 위함.
• 학습된 표현과 동역학을 분석함으로써 DQN 정책의 디버깅 및 향상 도구를 개발하기 위함.
• SAMDP 모델을 활용해 저성능 행동을 탐지하고 간섭을 일으키는 방법을 제안함으로써 DQN 정책의 강건성을 향상시키기 위함.
• 해석 가능하고 데이터 기반의 추상화를 통해 딥 강화 학습 에이전트의 설계 및 최적화를 향상시키기 위함.

제안 방법

• 진짜 MDP의 근사치인 반응형 집계 마르코프 결정 과정(SAMDP)을 제안하여 상태 동역학과 시간적 추상화를 포착한다.
• DQN 경험 재생 데이터로부터 상태 표현과 전이 동역학의 클러스터링을 통해 SAMDP 모델을 자동으로 학습한다.
• DQN에 의해 학습된 특징에 k-means 클러스터링을 적용하여 상태 클러스터를 식별하고, 각 클러스터의 전이 행렬과 보상 구조를 유추한다.
• 벡터 평균 제곱 오차(VMSE) 및 그리디 정책과 고보상/저보상 궤적 간 상관관계와 같은 지표를 사용해 SAMDP 모델을 평가한다.
• 시험 궤적이 고보상 궤적보다 저보상(하위-k) 궤적보다 더 높은 확률로 기인할 경우 간섭을 유도하는 '이젝트(eject)' 메커니즘을 구현한다.
• SAMDP 모델을 활용해 정책 열화를 탐지하고, 핵심 상태에서 인간 또는 우월한 에이전트로 제어를 환원함으로써 재학습 없이도 전체 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 DQN은 명시적 감독이나 설계 없이 어떻게 계층적 상태 추상화와 옵션을 암묵적으로 학습하는가?
• RQ2 DQN 표현에서 환경의 구조적이고 해석 가능한 모델을 자동으로 발견할 수 있는가? 이는 정책 행동을 설명하기 위함이다.
• RQ3 학습된 SAMDP 모델이 DQN 정책의 해석, 디버깅, 향상에 얼마나 활용될 수 있는가?
• RQ4 SAMDP 모델은 DQN 정책이 실패할 가능성이 높을 때 이를 탐지하고 강건성을 향상시키기 위한 간섭을 유도할 수 있는가?
• RQ5 SAMDP 모델을 사용해 저성능 행동을 자동 탐지할 경우, DQN 정책의 성능은 얼마나 향상되는가?

주요 결과

• DQN은 상태 공간을 서로 다른 특징이 지배하는 고유한 하위 다양체로 매핑함으로써 계층적 상태 추상화를 학습한다. 이는 국소적 정책 학습을 가능하게 한다.
• SAMDP 모델은 초기 및 종료 조건이 명확한 시간적 추상화와 옵션을 성공적으로 포착하여, DQN이 복잡한 환경에서 성공하는 이유를 설명한다.
• 그리디 정책과 고보상 궤적 간 상관관계는 저보상 궤적과의 상관관계보다 유의미하게 높으며, 이는 모델이 고품질 행동을 구분할 수 있음을 검증한다.
• 행동이 저보상 궤적과 더 유사할 경우 작동하는 '이젝트' 메커니즘이 Breakout에서 36%, Seaquest에서 20%, Pacman에서 4.7%의 성능 향상을 이끌어내었으며, 재학습 없이도 가능했다.
• SAMDP 모델은 신경 활성화에서 유도된 해석 가능한 논리 규칙을 통해 DQN 정책의 해석을 가능하게 하여 디버깅 및 설계 통찰력을 향상시킨다.
• 이 방법은 고가치 상태 클러스터를 식별함으로써 우선순위 경험 재생과 같은 기법과 통합함으로써 학습 자원의 효율적 할당을 가능하게 한다.