[논문 리뷰] Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning

Akanksha Atrey, Kaleigh Clary외 1명|arXiv (Cornell University)|2019. 12. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 47인용 수 31

한 줄 요약

이 논문은 딥 강화학습(DRL) 에이전트의 시각적 중요도 맵(saliency maps)가 환경 특징과 행동 간의 인과적이고 의미론적인 관계를 반영하는지 평가하기 위해 반사적 간섭 프레임워크를 제안한다. 아타리 게임 상태에 대상으로 픽셀을 변형시키고, 중요도 맵과 에이전트 행동의 변화를 측정함으로써, 저자들은 중요도 맵이 종종 의미 있는 인과적 연결을 포착하지 못함을 보여주며, 이는 설명적 도구보다는 탐색적 도구로 더 적합하다고 결론 내린다.

ABSTRACT

Saliency maps are frequently used to support explanations of the behavior of deep reinforcement learning (RL) agents. However, a review of how saliency maps are used in practice indicates that the derived explanations are often unfalsifiable and can be highly subjective. We introduce an empirical approach grounded in counterfactual reasoning to test the hypotheses generated from saliency maps and assess the degree to which they correspond to the semantics of RL environments. We use Atari games, a common benchmark for deep RL, to evaluate three types of saliency maps. Our results show the extent to which existing claims about Atari games can be evaluated and suggest that saliency maps are best viewed as an exploratory tool rather than an explanatory tool.

연구 동기 및 목표

• 현실에서 DRL 에이전트 행동을 설명하기 위해 중요도 맵이 어떻게 사용되고 있는지 조사하기 위해.
• 기존의 중요도 기반 설명의 한계, 특히 검증 불가능하고 주관적인 성격을 특정하기 위해.
• 중요도 맵에서 유도된 가설을 경험적으로 검증하기 위한 간섭 기반 반사적 방법론을 개발하기 위해.
• 아타리 환경에서 픽셀 수준의 중요도 추론과 인간 수준의 의미론적 추론 간의 대응을 평가하기 위해.
• 중요도 맵이 종종 환경의 의미론적 특성과 에이전트 결정 간의 인과적 관계를 반영하지 못함을 보여주기 위해.

제안 방법

• 아타리 게임 상태의 제어된 변형을 시뮬레이션하기 위해 ToyBox 환경을 사용한 반사적 간섭 프레임워크를 설계하기 위해.
• 딥 강화학습 에이전트에 대해 기울기 기반, 통합 기울기, 가속화된 역전파의 세 가지 유형의 중요도 맵을 적용하기 위해. Breakout 및 기타 아타리 게임에서.
• 대칭성과 인과 일관성을 테스트하기 위해 게임 요소(예: 공, 패드, 벽돌)를 수직 또는 수평 축을 기준으로 반사하여 대상 간섭을 수행하기 위해.
• 각 간섭 후 중요도 패턴과 에이전트 행동(행동 선택, 보상 추정)의 변화를 측정하여 가설의 타당성을 평가하기 위해.
• 픽셀 수준의 중요도 추론과 의미론적 추론 간의 비교를 위해 인간이 애너테이션한 의미론적 개념(예: Breakout에서의 '터널')을 기준점으로 사용하기 위해.
• 환경 상태, 에이전트 정책, 중요도 출력 간의 관계를 형식화하기 위해 인과 그래픽 모델링을 적용하여 체계적인 가설 검증을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 중요도 맵은 '터널'과 같은 의미론적 특징(예: Breakout의 터널)과 에이전트 행동 간의 인과적 관계를 어느 정도 반영하는가?
• RQ2 환경 상태의 대칭적 변형에 대해 중요도 패턴이 유지되는가? 이는 진정으로 의미론적 추론을 반영하는 경우 기대되는 결과이다.
• RQ3 픽셀 수준의 중요도 추론은 인간 수준의 의미론적 추론과 얼마나 잘 일치하는가?
• RQ4 반사적 간섭을 통해 DRL에서 일반적으로 유도된 중요도 맵 기반 가설을 검증할 수 있는가?
• RQ5 시각 기반 딥 강화학습에서 중요도 맵을 설명 도구로 사용할 때의 한계는 무엇인가?

주요 결과

• 게임 요소의 대칭적 반사에 대해 중요도 맵이 중요도 패턴을 유지하지 못함으로써, 이는 Breakout의 '터널'과 같은 의미론적 구조에 기반한 에이전트 행동을 신뢰할 수 있게 반영하지 못함을 시사한다.
• Breakout에서 터널 주변의 중요도 강도와 패턴은 수직 또는 수평 반사에 대해 불변적이지 않으며, 이는 에이전트가 터널을 향해 조준한다는 주장에 근거를 둔다.
• 중요도 맵은 종종 에이전트의 의사결정 과정과 의미론적으로 관련이 없는 영역을 강조함으로써, 환경의 의미론적 특성이 아닌 모델 고유의 아티팩트를 반영하고 있음을 시사한다.
• 중요도 기반 추론과 인간이 애너테이션한 의미론적 개념 간의 대응은 약하며, 이는 중요도 맵이 검증 가능한 설명을 생성하는 데 신뢰할 수 없다는 것을 의미한다.
• 반사적 간섭은 중요도 기반 설명의 결함을 효과적으로暴露하며, 이는 중요도 맵이 검증보다는 가설 생성에 더 적합함을 보여준다.
• 이 연구는 중요도 맵이 딥 강화학습에서 설명 도구보다는 탐색 도구로 사용되어야 한다고 결론 내린다.