[논문 리뷰] Visualizing Dynamics: from t-SNE to SEMI-MDPs

Nir Ben-Zrihem, Tom Zahavy외 1명|arXiv (Cornell University)|2016. 06. 22.

Reinforcement Learning in Robotics참고 문헌 22인용 수 12

한 줄 요약

이 논문은 t-SNE에 통합된 신경 활성도의 시간 인식 클러스터링을 사용하여 딥 Q-네트워크(DQN) 표현에서 완전 자동으로 반정적 마르코프 결정 과정(SMDP) 모델을 발견하고 시각화하는 방법을 제안한다. 이 방법은 도메인 지식 없이 계층적인 시간 추상화와 정책 구조를 드러내며, 가능도 기반 평가와 아케이드 환경에서 학습된 기술의 시각적 해석을 통해 검증된다.

ABSTRACT

Deep Reinforcement Learning (DRL) is a trending field of research, showing great promise in many challenging problems such as playing Atari, solving Go and controlling robots. While DRL agents perform well in practice we are still missing the tools to analayze their performance and visualize the temporal abstractions that they learn. In this paper, we present a novel method that automatically discovers an internal Semi Markov Decision Process (SMDP) model in the Deep Q Network's (DQN) learned representation. We suggest a novel visualization method that represents the SMDP model by a directed graph and visualize it above a t-SNE map. We show how can we interpret the agent's policy and give evidence for the hierarchical state aggregation that DQNs are learning automatically. Our algorithm is fully automatic, does not require any domain specific knowledge and is evaluated by a novel likelihood based evaluation criteria.

연구 동기 및 목표

• 딥 강화학습 에이전트의 시간 추상화를 분석하고 시각화하기 위한 도구 부족 문제를 해결하기 위해.
• 도메인 특화 지식이나 수동적 특징 공학 없이 DQN 표현에서 내부 반정적 마르코프 결정 과정(SMDP) 모델을 자동으로 발견하기 위해.
• 해당 SMDP의 구조를 t-SNE 지도 위에 오버레이하는 시각화 프레임워크를 개발하여 DQN 정책의 해석 가능성 향상시키기 위해.
• 새로운 가능도 기반 기준과 궤적 보상과의 상관관계를 사용하여 발견된 SMDP 모델의 품질 평가하기 위해.

제안 방법

• DQN 에이전트를 훈련하고 평가 중 상태 방문 기록, 신경 활성도, Q-값, 가치 추정치를 기록한다.
• DQN의 마지막 레이어 활성도에 t-SNE 차원 감소를 적용하여 국소적 구조를 유지하는 2차원 임베딩을 생성한다.
• 시간적 맥락(크기 w의 슬라이딩 윈도우)을 통합한 새로운 시간 인식 클러스터링 알고리즘을 사용하여 t-SNE 점들을 클러스터로 묶어 동일한 동역학을 가지는 상태를 나타내도록 한다.
• empirical frequency를 사용하여 클러스터링된 데이터로부터 전이 확률과 보상을 추정함으로써 SMDP 모델을 피팅한다.
• 노드를 클러스터, 간선을 전이로 하는 방향 그래프로 SMDP를 t-SNE 지도 위에 시각화한다.
• 세 가지 기준을 사용하여 모델 품질을 평가한다: 가치 함수 일관성(VMSE), 그레디 정책 선택과 궤적 보상 간 상관관계, 그레디 정책과 상위/하위 보상 궤적 간 상관관계.

실험 결과

연구 질문

• RQ1 훈련된 DQN의 내부 표현에서 사전 지식 없이 구조적이고 해석 가능한 SMDP 모델을 자동으로 발견할 수 있는가?
• RQ2 발견된 SMDP는 DQN 정책에서 의미 있는 시간 추상화와 계층적 상태 집약을 반영하는가?
• RQ3 SMDP 모델을 사용하여 시각적 및 정량적 평가를 통해 에이전트 행동을 설명할 수 있는가?
• RQ4 보상 상관관계와 가치 일관성으로 측정했을 때 SMDP 모델은 실제 에이전트 행동을 얼마나 잘 예측하는가?

주요 결과

• Breakout 환경에서 SMDP 모델은 명확하고 해석 가능한 기술을 드러내었으며, 예를 들어 클러스터 10은 잘 정의된 왼쪽 터널 절단 정책을 보였다.
• 전이 엔트로피가 높은 클러스터들(예: Breakout에서 클러스터 6과 16)은 더 명확하지 않은 정책과 더 모호한 평균 상태를 보이며, 학습된 행동에 대한 불확실성을 나타냈다.
• Pacman에서는 클러스터들이 공간적으로 국소화되어 있었으며, 예를 들어 클러스터 19는 북서쪽, 클러스터 9는 남동쪽에 위치한 에이전트의 위치를 명확히 반영하여 위치 기반 상태 집약을 확인했다.
• SMDP 가치 함수는 DQN의 Q-값과 높은 상관관계를 보였으며, VMSE로 측정된 강력한 모델 적합도를 나타냈다.
• 그레디 정책의 전이 선택은 높은 보상 궤적과 정확히 상관관계가 있었으며, 하위 보상 궤적보다 상위 보상 궤적과 더 높은 상관관계를 보였다.
• 모델는 희박한 전이 행렬을 달성하여 각 클러스터가 다른 클러스터 중 소수의 집합으로만 전이됨을 보여주었으며, 이는 명확하고 국소화된 기술의 존재를 뒷받침했다.