[논문 리뷰] Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep RL

Akanksha Atrey, Kaleigh Clary외 1명|arXiv (Cornell University)|2019. 12. 09.

Explainable Artificial Intelligence (XAI)인용 수 3

한 줄 요약

이 논문은 딥 강화학습(DRL)에서 해석의 타당성을 평가하기 위해 대체적 평가 프레임워크를 제안한다. 아타리 게임을 벤치마크로 삼아, 시각화된 중요도 맵의 타당성을 검토한다. 분석 결과, 많은 주장들이 대체적 왜곡 테스트를 통해 검증되지 않으며 의미론적으로 일관되지 않기 때문에, 중요도 맵은 설명보다는 탐색에 더 적합하다고 밝혀졌다.

ABSTRACT

Saliency maps are frequently used to support explanations of the behavior of deep reinforcement learning (RL) agents. However, a review of how saliency maps are used in practice indicates that the derived explanations are often unfalsifiable and can be highly subjective. We introduce an empirical approach grounded in counterfactual reasoning to test the hypotheses generated from saliency maps and assess the degree to which they correspond to the semantics of RL environments. We use Atari games, a common benchmark for deep RL, to evaluate three types of saliency maps. Our results show the extent to which existing claims about Atari games can be evaluated and suggest that saliency maps are best viewed as an exploratory tool rather than an explanatory tool.

연구 동기 및 목표

• 딥 강화학습에서 중요도 맵의 해석에 대한 검증 가능하고 객관적인 평가 방법의 부족을 해결하기 위해.
• 중요도 맵이 강화학습 환경의 상태 특징의 의미론적 관련성과 실제로 얼마나 잘 반영하는지 조사하기 위해.
• 중요도 맵에서 유도된 가설을 검증하기 위해 대체적 추론 프레임워크를 제안하고 적용하기 위해.
• 기존의 중요도 맵 기반 DRL 에이전트 행동에 대한 주장들이 의미론적 왜곡을 통해 실제로 성립하는지 평가하기 위해.

제안 방법

• 아타리 환경의 입력 상태에 대체적 왜곡을 적용하여, 중요도 맵이 식별한 주요 영역을 체계적으로 수정한다.
• 세 가지 유형의 중요도 맵인 Grad-CAM, Grad, Integrated Gradients를 사용하여 에이전트 행동에 대한 가설을 생성한다.
• 주요 영역을 왜곡한 후 에이전트 정책과 보상의 변화를 측정하여 예측된 변화가 일어나는지 테스트한다.
• 왜곡이 환경의 의미론적 구조와 일치하는지 평가하여 중요도 맵의 의미론적 일致성을 비교한다.
• 재현성과 대체적 테스트의 타당성을 확보하기 위해 표준 아타리 환경에서 통제된 실험 설계를 사용한다.
• 왜곡이 에이전트 행동에 예측 가능하고 의미론적으로 의미 있는 변화를 유도하는지 분석하여 중요도 맵의 해석이 얼마나 검증 가능하는지 평가한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트의 중요도 맵 해석이 아타리 게임 환경의 실제 의미론과 어느 정도 일치하는가?
• RQ2 대체적 왜곡을 통해 중요도 맵에서 유도된 가설을 부정하거나 확인할 수 있는가?
• RQ3 딥 RL 에이전트의 행동적으로 관련된 상태 특징을 식별하는 데 있어 중요도 맵의 신뢰성은 어느 정도인가?
• RQ4 중요도 맵의 주요 영역을 왜곡했을 때 에이전트 정책에 일관되고 의미론적으로 의미 있는 변화가 일어나는가?
• RQ5 중요도 맵 기반의 기존 에이전트 행동에 대한 주장들이 대체적 분석을 통해 경험적으로 검증 가능한가?

주요 결과

• 중요도 맵은 주로 검증 불가능한 가설을 생성하는 경향이 있으며, 주요 영역에 대한 왜곡이 예상된 행동 변화로 이어지지 않기 때문이다.
• 많은 중요도 맵의 해석은 아타리 게임의 의미론적 구조와 일치하지 않아, 중요도 맵과 의미 있는 환경적 특징 사이의 대응이 떨어진다.
• 대체적 분석 결과, 중요도 맵의 많은 주장들이 왜곡 기반 테스트를 통해 검증될 수 없다는 것이 드러났다.
• 연구 결과, 중요도 맵는 설명보다는 가설 생성에 더 효과적임을 시사하며, 주관적이고 비의미론적인 해석에 취약하기 때문이다.
• 결과적으로, 현재 DRL에서 사용하는 중요도 방법은 통제된 대체적 평가 하에서 강건성과 의미론적 기반을 갖추지 못하고 있음을 보여준다.
• 논문은 중요도 맵을 딥 강화학습에서 주로 탐색 도구로 간주하고, 설명 도구로는 간주하지 말아야 한다고 결론 내린다.