[논문 리뷰] Learn to Interpret Atari Agents

Zhao Yang, Song Bai외 2명|arXiv (Cornell University)|2018. 12. 29.

Reinforcement Learning in Robotics참고 문헌 34인용 수 15

한 줄 요약

이 논문은 엔드 투 엔드로 미분 가능한 딥 Q넷 에이전트인 Region-Sensitive Rainbow(RS-Rainbow)을 제안한다. 이는 추론 중에 아케이드 게임 프레임의 주목할 만한 영역을 식별하고 시각화할 수 있도록 학습 가능한 어텐션 모듈을 통합한다. 어텐션 모듈에서 유도된 기울기를 입력에 역전파함으로써 RS-Rainbow는 성능 향상과 함께 실시간으로 인간이 이해할 수 있는 의사결정 시각화를 가능하게 한다. 이는 아케이드 2600 벤치마크에서 표준 Rainbow보다 뛰어난 성능을 기록한다.

ABSTRACT

Deep reinforcement learning (DeepRL) agents surpass human-level performance in many tasks. However, the direct mapping from states to actions makes it hard to interpret the rationale behind the decision-making of the agents. In contrast to previous a-posteriori methods for visualizing DeepRL policies, in this work, we propose to equip the DeepRL model with an innate visualization ability. Our proposed agent, named region-sensitive Rainbow (RS-Rainbow), is an end-to-end trainable network based on the original Rainbow, a powerful deep Q-network agent. It learns important regions in the input domain via an attention module. At inference time, after each forward pass, we can visualize regions that are most important to decision-making by backpropagating gradients from the attention module to the input frames. The incorporation of our proposed module not only improves model interpretability, but leads to performance improvement. Extensive experiments on games from the Atari 2600 suite demonstrate the effectiveness of RS-Rainbow.

연구 동기 및 목표

• 딥 강화학습(DRL) 에이전트는 일반적으로 블랙박스 시스템이므로, 내재된 해석 가능성의 부족을 해결하기 위해.
• 사람의 간섭이나 다중 전방 전파가 필요한 사후 해석 방법의 한계를 극복하기 위해.
• 단일 엔드 투 엔드 학습 과정에서 해석 가능성과 성능을 동시에 향상시키는 학습 기반의 해석 프레임워크를 개발하기 위해.
• 외부 감독 없이 실시간으로 기울기 기반으로 의사결정과 관련된 영역을 시각화할 수 있도록 하기 위해.
• 해석 가능성 모듈이 DRL 에이전트의 일반화 능력과 성능 향상에 기여할 수 있는지 탐색하기 위해.

제안 방법

• Rainbow DQN 아키텍처에 플러그인 형태로 구역 민감성 모듈을 도입하여 입력 프레임 상의 주의 패턴을 예측한다.
• 어텐션 모듈은 공간적 영역에 중요도 점수를 할당하여 화면의 다양한 부분이 행동 결정에 어떻게 영향을 미치는지 모델링한다.
• 추론 중에 각 어텐션 패턴에서 가장 중요한 영역에서 유도된 기울기를 입력 프레임으로 역전파하여 중요도 맵을 생성한다.
• 어텐션 모듈은 표준 강화학습 목표 함수를 사용하여 메인 DQN 헤드와 함께 엔드 투 엔드로 훈련된다.
• 이 방법은 기울기 기반 중요도 맵을 활용하여 실제 의사결정 과정에서 에이전트가 집중하는 영역을 반영하는 시각적 설명을 생성한다.
• 이 아키텍처는 일반적이며 다른 CNN 기반 DRL 모델에 적용 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 사후 분석 없이도 딥 강화학습 에이전트가 의사결정과 관련된 시각적 영역을 내재적으로 강조할 수 있는가?
• RQ2 어텐션 기반 해석 가능성 모듈을 통합하면 DRL 에이전트의 해석 가능성과 성능이 모두 향상되는가?
• RQ3 어텐션 모듈에서 파생된 기울기 기반 중요도 맵이 아케이드 에이전트의 의미 있는 전략과 기능적 객체 인식을 드러내는가?
• RQ4 RS-Rainbow의 성능은 아케이드 2600 스위트에서 표준 Rainbow 및 기타 최첨단 에이전트와 비교해 어떻게 되는가?
• RQ5 RS-Rainbow의 시각화 결과는 에이전트의 실패나 잘못된 예측에 대한 통찰을 어느 정도 제공하는가?

주요 결과

• RS-Rainbow는 여러 아케이드 2600 게임에서 최첨단 성능을 달성하여 원본 Rainbow 에이전트를 능가한다.
• 어텐션 모듈은 실시간 기울기 기반 중요도 맵을 생성하여 게임 프레임에서 적, 보조 기능, 장애물과 같은 기능적 객체를 강조한다.
• 시각화 결과는 에이전트가 인간 전략과 일치하는 방식으로 플레이어의 위치, 敌기, 탄환과 같은 관련 게임 요소에 집중하는 것을 보여준다.
• 이 방법은 의사결정에 핵심적인 영역을 성공적으로 식별하며, 특히 핵심 객체를 탐지하지 못하는 경우에도 진단적 통찰을 제공한다.
• 구역 민감성 모듈은 샘플 효율성과 일반화 능력을 향상시키며, 이는 이 프레임워크에서 해석 가능성과 성능가 상호보완적임을 시사한다.
• 이 접근법은 일반화 가능하며 다른 DQN 기반 모델에 적용할 수 있으며, 정책 기반 강화학습 방법과 다중 에이전트 환경으로도 확장 가능할 것으로 기대된다.