[논문 리뷰] Towards Interpretable Reinforcement Learning Using Attention Augmented Agents

A. Mott, Daniel Zoran외 3명|arXiv (Cornell University)|2019. 06. 06.

Multimodal Machine Learning Applications인용 수 42

한 줄 요약

이 논문은 Atari를 위한 소프트하고 top-down 주의 기반 RL 에이전트를 도입하며, 의사결정을 더 해석 가능하게 만드는 명시적 주의 병목을 사용하고, 경쟁력 있는 성능을 달성한다.

ABSTRACT

Inspired by recent work in attention models for image captioning and question answering, we present a soft attention model for the reinforcement learning domain. This model uses a soft, top-down attention mechanism to create a bottleneck in the agent, forcing it to focus on task-relevant information by sequentially querying its view of the environment. The output of the attention mechanism allows direct observation of the information used by the agent to select its actions, enabling easier interpretation of this model than of traditional models. We analyze different strategies that the agents learn and show that a handful of strategies arise repeatedly across different games. We also show that the model learns to query separately about space and content (`where' vs. `what'). We demonstrate that an agent using this mechanism can achieve performance competitive with state-of-the-art models on ATARI tasks while still being interpretable.

연구 동기 및 목표

• 에이전트의 정보 활용을 노출하는 주의 병목을 도입하여 해석가능한 RL을 고취한다.
• 시각 입력에서 태스크 관련 정보를 선택적으로 검색하는 상향식(top-down) 질의를 갖춘 소프트 주의 메커니즘을 개발한다.
• 주의 맵이 일관된 전략을 드러내고 모델이 Atari 작업에서 성능을 유지하면서 새로운 상태로 일반화할 수 있음을 증명한다.

제안 방법

• vision core 출력에 대해 여러 주의 헤드를 생성하는 LSTM 기반 질의 네트워크를 갖는 소프트 주의 모델을 제안한다.
• Vision core 출력을 키(Keys)와 값(Values)으로 분리하고, 고정 위치 기저를 보강하며, 내부 곱과 공간 소프트맥스로 주의를 계산한다.
• 주목된 Values를 모아 LSTM 기반 정책 및 가치 추정 파이프라인에 입력하는 해답을 생성한다.
• IMPALA 스타일의 액터-러너 아키텍처와 V-trace 손실을 사용한 역전파로 엔드-투-엔드로 학습한다.
• 비주얼 기반 비주의 베이스라인(피드포워드 및 LSTM 베이스라인)과 비교하여 주의 맵의 해석가능성과 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 상향식이 아닌 소프트 주의 메커니즘이 성능을 해치지 않으면서 강화학습에서 해석가능한 병목을 제공할 수 있는가?
• RQ2 주목 맵이 의미 있고 작업 관련 초점을 드러내며(예: 플레이어, 적, 트립-와이어) 보이지 않는 상태로의 일반화를 보여주는가?
• RQ3 제안된 주의 헤드가 ‘무엇(what)’과 ‘어디(where)’ 구성요소로 어떻게 분리되며 이것이 의사결정에 어떤 영향을 미치는가?
• RQ4 상향식 주의 분석과 비교하여 상단-주도 주의의 시각화 및 에이전트의 정책 및 가치 추정의 이해를 향상시키는가?

주요 결과

• 주의 에이전트는 ATARI 태스크에서 최첨단 베이스라인과 경쟁력 있는 성능을 달성한다(표 1 참조).
• 주의 헤드가 플레이어, 적, 파워업, 점수 등에 집중하는 해석가능한 패턴을 드러내며, 일부 헤드는 전방 계획/스캐닝을 수행한다.
• 에이전트는 새로운 시각 구성을 일반화하고(예: 주입된 객체) 인과적 방식으로 새로운 정보에 주의를 기울이며 패턴을 암기하지 않는다.
• ‘무엇’과 ‘어디’ 질의의 혼합이 관찰되는데, 일부 헤드는 객체를 추적하는 반면 다른 헤드는 트립-와이어나 수평선 스캔으로 작동한다.
• 하향식 주의와 비교할 때 상향식 주의가 정책과 가치의 현저한 주목도 일치를 제공하여 해석가능성 우위를 뒷받침한다.