[논문 리뷰] Deep Reinforcement Learning Discovers Internal Models

Nir Baram, Tom Zahavy외 1명|arXiv (Cornell University)|2016. 06. 16.

Reinforcement Learning in Robotics참고 문헌 16인용 수 3

한 줄 요약

이 논문은 깊이 강화 학습 정책에서 시간에 민감한 클러스터링을 통해 t-SNE 시각화된 DQN 활성화를 활용해 계층적인 시공간 구조(예: 스킬 및 보조 목표)를 자동으로 추출하는 Semi-Aggregated Markov Decision Process (SAMDP) 모델을 소개한다. 이 방법은 해석 가능한 정책 분석을 가능하게 하며, 정책 실패가 예측될 경우 전문가 간섭을 유도하는 공유 자율성 메커니즘을 통해 야심성 게임에서 최대 36% 향상된 성능을 달성한다.

ABSTRACT

Deep Reinforcement Learning (DRL) is a trending field of research, showing great promise in challenging problems such as playing Atari, solving Go and controlling robots. While DRL agents perform well in practice we are still lacking the tools to analayze their performance. In this work we present the Semi-Aggregated MDP (SAMDP) model. A model best suited to describe policies exhibiting both spatial and temporal hierarchies. We describe its advantages for analyzing trained policies over other modeling approaches, and show that under the right state representation, like that of DQN agents, SAMDP can help to identify skills. We detail the automatic process of creating it from recorded trajectories, up to presenting it on t-SNE maps. We explain how to evaluate its fitness and show surprising results indicating high compatibility with the policy at hand. We conclude by showing how using the SAMDP model, an extra performance gain can be squeezed from the agent.

연구 동기 및 목표

• 수동적인 기능 엔지니어링 없이 훈련된 DRL 정책 내부의 계층적 구조(예: 스킬 및 보조 목표)를 자동으로 탐지하기 위해.
• 상태 표현에서 공간적 및 시간적 추상화를 식별함으로써 인간이 이해할 수 있는 DRL 에이전트 행동 설명을 제공하는 모델을 개발하기 위해.
• SAMDP 모델을 사용해 고위험 정책 행동을 탐지하고 간섭하는 공유 자율성 프레임워크를 통해 성능 향상을 이루기 위해.
• 가치 함수 일致성 및 정책-보상 상관관계와 같은 정량적 기준을 사용해 추출된 모델의 정밀도를 평가하기 위해.

제안 방법

• DQN 신경 활성화 궤적에서 t-SNE 지ap을 구축하여 상태 표현을 저차원 공간에서 시각화하기 위해.
• 시간에 민감한 클러스터링 알고리즘을 적용하여 서로 다른 스킬 또는 보조 목표를 나타내는 반응성 상태로 상태를 군집화하기 위해.
• 궤적에서 경험적으로 전이 확률 및 보상 함수를 추정하여 SAMDP 모델을 구축하기 위해.
• 세 가지 평가 기준을 사용: 가치 함수 일치성(VMSE), 그리디 정책 행동과 궤적 보상 간 상관관계, 정책 전이가 고보상 궤적(T⁺) 대비 저보상 궤적(T⁻)과의 상관관계.
• 공유 자율성 메커니즘을 구현: 만약 저보상 행동(T⁻)과 궤적이 일치할 가능성(likelihood)이 고보상 행동(T⁺)보다 높을 경우, '이젝트' 버튼을 작동시켜 종료하고 간섭하기 위해.
• SAMDP 모델을 사용해 실패 경향이 있는 상태를 예측하고 DQN을 재학습하지 않고도 전문가 간섭을 이끌어내기 위해.

실험 결과

연구 질문

• RQ1 상태 활성화 궤적만을 사용해 데이터 기반의 자동 방법이 DQN 정책 내에서 의미 있는 스킬과 보조 목표를 식별할 수 있는가?
• RQ2 SAMDP 모델은 기저 MDP의 진짜 동역학과 보상 구조를 얼마나 잘 캡처하는가?
• RQ3 SAMDP 모델을 사용해 DQN 정책이 실패할 가능성이 높을 때를 탐지하고 전문가의 적시 간섭을 가능하게 할 수 있는가?
• RQ4 SAMDP 모델은 원래 DQN 에이전트를 재학습하지 않고도 정책 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• SAMDP 모델은 정책가 실패할 것으로 예측될 경우 전문가 간섭을 유도함으로써 Breakout에서 평균 36% 향상된 성능을 달성했다.
• 모델는 높은 가치 함수 일치성(VMSE)을 보였으며, 상태 전역에서 DQN Q-값과 SAMDP 예측 값 간 강한 상관관계를 보였다.
• 그리디 정책 행동과 고보상 궤적 간 상관관계가 양의 값을 보였으며(평균 corr_i > 0), 이는 모델의 일관성을 확인했다.
• 그리디 정책의 전이 행렬은 저보상 궤적(T⁻)보다 고보상 궤적(T⁺)과 더 강하게 상관관계를 보였으며, 이는 모델의 정밀도를 검증했다.
• 수동 레이블링이나 감독 없이도 명확한 시작 및 종료 집합을 가진 잘 정의된 스킬을 성공적으로 식별했다.
• 재학습 없이도 성능 향상을 이룰 수 있었으며, 내부 모델 탐색을 통한 공유 자율성의 실현 가능성을 입증했다.