[논문 리뷰] Benchmarking Perturbation-based Saliency Maps for Explaining Deep Reinforcement Learning Agents.

Tobias Huber, Benedikt Limmer외 1명|arXiv (Cornell University)|2021. 01. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 6

한 줄 요약

이 논문은 Atari 2600 환경에서 딥 강화학습(Deep Reinforcement Learning) 에이전트를 설명하기 위한 네 가지 편향 기반 샐류언시 매핑 방법을 벤치마킹한다. 학습된 파라미터에 대한 의존도, 입력 손상에 의한 신뢰성, 런타임 성능를 평가하여 각 방법 간의 상충 관계를 규명하고, 에이전트 결정을 설명하는 데서의 신뢰성과 효율성에 대한 실증적 증거를 제공한다.

ABSTRACT

Recent years saw a plethora of work on explaining complex intelligent agents. One example is the development of several algorithms that generate saliency maps which show how much each pixel attributed to the agents' decision. However, most evaluations of such saliency maps focus on image classification tasks. As far as we know, there is no work which thoroughly compares different saliency maps for Deep Reinforcement Learning agents. This paper compares four perturbation-based approaches to create saliency maps for Deep Reinforcement Learning agents trained on four different Atari 2600 games. All four approaches work by perturbing parts of the input and measuring how much this affects the agent's output. The approaches are compared using three computational metrics: dependence on the learned parameters of the agent (sanity checks), faithfulness to the agent's reasoning (input degradation), and run-time.

연구 동기 및 목표

• 기존의 편향 기반 샐류언시 매핑 방법을 딥 강화학습(DRL) 맥락에서 평가하고 비교하는 것. 이는 이전 연구에서 철저한 평가가 이루어지지 않은 분야이다.
• 입력 손상에 대한 반응을 통해 이러한 샐류언시 매핑이 DRL 에이전트의 진정된 의사결정 과정을 얼마나 잘 반영하는지 평가하기 위한 목적이다.
• 정책 네트워크 가중치에 대한 민감도를 측정하여, 샐류언시 매핑이 학습된 파라미터에 얼마나 의존하는지 분석함으로써 타당성 검증을 수행한다.
• 다양한 평가 런에 걸쳐 샐류언시 매핑 생성에 소요되는 시간을 측정하여 각 방법의 계산 효율성을 측정한다.
• 해석 가능성 연구 분야에서 중요한 격차를 메우기 위해 DRL 에이전트에 특화된 종합적인 실증적 비교를 제공하는 것.

제안 방법

• 편향 기반 샐류언시 매핑은 입력 픽셀을 체계적으로 마스킹하거나 수정하고, 에이전트 출력의 변화를 측정함으로써 생성된다.
• 네 가지 다른 편향 전략을 적용한다: 무작위 마스킹, 샐류언시 유도 마스킹, 기울기 기반 마스킹, 기울기 피드백을 사용한 반복적 마스킹.
• 신뢰성은 입력 손상이 에이전트에 입력되었을 때 성능 저하를 측정함으로써 평가되며, 입력 손상 곡선을 사용한다.
• 타당성 검증은 정책 네트워크 가중치에 대한 민감도를 측정하여 샐류언시 매핑이 학습된 파라미터와 상관관계가 있는지 평가한다.
• 런타임 효율성은 다수의 평가 런에 걸쳐 샐류언시 매핑 생성에 소요되는 시간으로 측정된다.
• 실험은 딥 Q네트워크(DQN)와 딜링 DQN 아키텍처를 사용해 훈련된 DRL 에이전트를 사용해 네 종류의 Atari 2600 게임에서 수행된다.

실험 결과

연구 질문

• RQ1 다양한 편향 기반 샐류언시 매핑 방법은 에이전트의 학습된 파라미터에 대해 어떻게 다른 의존도를 보이는가?
• RQ2 입력 손상에 대한 반응에서 어떤 샐류언시 매핑 방법이 에이전트의 의사결정 과정을 가장 충실하게 반영하는가?
• RQ3 네 가지 샐류언시 매핑 생성 방법 간의 계산 비용은 어떻게 다른가?
• RQ4 다양한 시각적 및 제어 복잡도를 가진 Atari 2600 게임에서 샐류언시 매핑은 어떻게 행동하는가?
• RQ5 편향 기반 방법들이 DRL 에이전트의 의사결정에 중요한 시각적 특징을 신뢰성 있게 식별할 수 있는가?

주요 결과

• 반복적 기울기 마스킹 기반 샐류언시 매핑 방법이 가장 높은 신뢰성을 보였으며, 편향 영향과 실제 에이전트 성능 저하 간 강한 상관관계를 보였다.
• 기울기 기반 편향을 사용한 샐류언시 매핑이 학습된 파라미터에 가장 강한 의존도를 보였으며, 이는 더 나은 타당성 검증 준수를 시사한다.
• 무작위 마스킹은 가장 신뢰성이 떨어지는 샐류언시 매핑을 생성했으며, 낮은 신뢰성과 정책 파라미터에 대한 일관되지 않은 민감도를 보였다.
• 반복적 기울기 방법은 가장 높은 런타임 비용을 가지며, 무작위 마스킹은 가장 빠르게, 이는 신뢰성과 효율성 사이의 상충 관계를 드러낸다.
• 모든 방법이 게임에 따라 다른 정도의 시각적 패턴 민감도를 보였으며, 고대비 시각적 특징이 두드러진 게임에서 더 나은 성능을 보였다.
• 연구 결과, 신뢰성과 타당성이 항상 일치하지는 않음을 확인했으며, 일부 방법은 타당성 검증에 통과했지만 신뢰성 평가에 실패한 바 있다.