[논문 리뷰] Visualizing and Understanding Atari Agents

Sam Greydanus, Anurag Koul외 2명|arXiv (Cornell University)|2017. 10. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 90

한 줄 요약

Perturbation 기반 saliency 방법을 도입하여 A3C로 학습된 Atari 에이전트를 시각화하고 해석합니다. 에이전트가 주목하는 것, 학습 중 정책이 어떻게 진화하는지, 과적합 및 기억 사용을 어떻게 탐지하는지 보여줍니다.

ABSTRACT

While deep reinforcement learning (deep RL) agents are effective at maximizing rewards, it is often unclear what strategies they use to do so. In this paper, we take a step toward explaining deep RL agents through a case study using Atari 2600 environments. In particular, we focus on using saliency maps to understand how an agent learns and executes a policy. We introduce a method for generating useful saliency maps and use it to show 1) what strong agents attend to, 2) whether agents are making decisions for the right or wrong reasons, and 3) how agents evolve during learning. We also test our method on non-expert human subjects and find that it improves their ability to reason about these agents. Overall, our results show that saliency information can provide significant insight into an RL agent's decisions and learning behavior.

연구 동기 및 목표

• 비전 기반 입력으로 학습된 심층 강화학습 에이전트를 해석 가능한 saliency 시각화를 사용하여 설명한다.
• 에이전트가 주목하는 특징이 무엇이며 합리적 신호나 잘못된 신호에 의존하는지 식별한다.
• 에이전트의 주의가 학습 중 및 기억과 함께 어떻게 변화하는지 보여준다.
• 여러 Atari 환경에서 이 접근법을 시연하고 비전문가의 해석 가능성을 평가한다.
• 성능이 저조한 정책과 과적합 시나리오에 대한 디버깅 인사이트를 제공한다.

제안 방법

• 입력 프레임의 지역화된 영역을 흐리게 하여 정책 출력과 가치 출력에 미치는 영향을 측정하는 perturbation 기반 saliency 방법을 도입한다.
• 가우시안 마스크를 이용해 원본 프레임과 흐려진 버전 사이를 매끄럽게 보간하는 perturbation Phi(I_t,i,j)를 정의한다.
• perturbation 유무에 따른 정책 로짓(또는 가치 추정)의 제곱 차이로 saliency를 계산하며, 공간 saliency 맵을 얻는다.
• A3C 아키텍처에서 액터(정책)와 크리틱(가치) 네트워크 모두에 saliency를 적용한다.
• 순환 에이전트(LSTM)에서 정책의 진화와 메모리의 영향을 분석하기 위해 시간에 따라 saliency를 시각화한다.
• 프리프로세싱된 80x80 그레이스케일 입력으로 Pong, Breakout, SpaceInvaders, MsPacman, Frostbite, Enduro에서 평가한다.

실험 결과

연구 질문

• RQ1 입력의 어떤 영역에 강한 Atari 에이전트가 의존하여 의사결정을 내리는가?
• RQ2 학습 중 및 액터 vs 크리틱 네트워크에서 saliency 패턴은 어떻게 변화하는가?
• RQ3 saliency가 잘못된 이유로 의사결정을 나타내거나 과적합의 징후를 드러낼 수 있는가?
• RQ4 순환 정책에서 메모리의 역할은 saliency에 어떤 영향을 미치는가?
• RQ5 saliency 시각화가 비전문가가 에이전트의 행동과 강건성을 추론하는 데 도움이 되는가?

주요 결과

• Saliency 비디오는 에이전트가 공의 특징이 아니라 환경의 결정론적 요소나 다른 요소에 의존할 수 있음을 보여주며, 특정 상대/player에게 과적합되었음을 시사한다(예: Pong).
• 학습 중 액터와 크리틱의 saliency가 갈라지며 서로 다른 영역(예: 공-패들 대 가치 영역)에 점점 더 집중하는 경향이 나타난다.
• Saliency는 과적합 에이전트에서 힌트나 산만한 요소에 주목하여 높은 보상을 얻는 잘못된 이유를 드러낼 수 있다.
• 이 방법은 잘못 초점화된 주의로 인해 게임을 디버깅하는 데 도움을 주며(예: MsPacman, Frostbite, Enduro).
• 비전문가가 saliency 비디오를 사용하면 원시 영상만으로 보는 것보다 에이전트의 결정의 강건성 판단과 설명이 더 정확해진다.
• 메모리 perturbation은 중요한 순간(예: 공-패들 접촉 직전) 근처에서 saliency 피크를 보이며 일부 게임에서 메모리의 중요성을 시사한다.