[논문 리뷰] Explain Your Move: Understanding Agent Actions Using Focused Feature Saliency

Piyush Gupta, Nikaash Puri외 5명|arXiv (Cornell University)|2019. 12. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 12

한 줄 요약

이 논문은 표적 설정된 변형을 통해 특이성과 관련성의 균형을 이루는 새로운 샐런시 방법을 제안하여 딥 강화학습 에이전트를 해석하는 데 기여한다. 이는 기존 방법보다 더 집중적이고 인간이 이해하기 쉬운 샐런시 맵을 생성하며, 체스, 고, 아케이드 게임(브레이크아웃, 핑퐁, 스페이스 인베이더)에서 뛰어난 해석 가능성(해석 가능성)을 입증한다.

ABSTRACT

As deep reinforcement learning (RL) is applied to more tasks, there is a need to visualize and understand the behavior of learned agents. Saliency maps explain agent behavior by highlighting the features of the input state that are most relevant for the agent in taking an action. Existing perturbation-based approaches to compute saliency often highlight regions of the input that are not relevant to the action taken by the agent. Our approach generates more focused saliency maps by balancing two aspects (specificity and relevance) that capture different desiderata of saliency. The first captures the impact of perturbation on the relative expected reward of the action to be explained. The second downweights irrelevant features that alter the relative expected rewards of actions other than the action to be explained. We compare our approach with existing approaches on agents trained to play board games (Chess and Go) and Atari games (Breakout, Pong and Space Invaders). We show through illustrative examples (Chess, Atari, Go), human studies (Chess), and automated evaluation methods (Chess) that our approach generates saliency maps that are more interpretable for humans than existing approaches.

연구 동기 및 목표

• 복잡한 의사결정 과제에서 딥 강화학습 에이전트의 해석 가능성 부족 문제를 해결하기 위해.
• 기존의 변형 기반 샐런시 방법이 관련 없는 입력 영역을 강조하는 데에 한계가 있다는 점을 극복하기 위해.
• 특이성(해석하고자 하는 행동에 대한 영향)과 관련성(다른 행동에 대한 최소한의 영향)을 균형 잡는 샐런시 방법을 개발하기 위해.
• 더 집중적이고 의미 있는 시각적 설명을 통해 인간의 에이전트 행동 해석 가능성(해석 가능성)을 향상시키기 위해.
• 인간 및 자동 평가를 모두 활용하여 체스, 고, 아케이드 게임을 포함한 다양한 환경에서 방법의 유효성을 검증하기 위해.

제안 방법

• 이 방법은 두 가지 구성 요소를 균형 잡는 이중 목표 최적화를 도입한다: (1) 해석하고자 하는 행동의 기대 보상에 대한 변형의 영향, (2) 다른 행동에 영향을 주는 변형의 억제.
• 기울기 기반 변형을 사용하여 입력 특징이 에이전트의 행동 선택에 미치는 영향을 추정하며, 상대적 보상 변화에 집중한다.
• 샐런시 점수는 대상 행동에 대한 상대적 기대 보상 변화와, 비대상 행동에 영향을 주는 변형을 억제하는 정규화 항을 조합하여 계산된다.
• 이 방법은 행동 선택에 대한 영향을 측정하면서 입력 특징를 선택적으로 마스킹하거나 수정하는 집중적인 변형 전략을 적용한다.
• 이 방법은 체스, 고, 아케이드 게임과 같은 환경에서 딥 강화학습에 의해 훈련된 에이전트에 적용된다.
• 샐런시 맵은 에이전트의 행동에 영향을 주는 입력 특징들을 기반으로 순위를 매겨 생성되며, 결정에 대해 관련성 있고 특이성이 높은 특징에 중점을 둔다.

실험 결과

연구 질문

• RQ1 강화학습에서 에이전트 결정을 분석할 때 인간 사용자가 이해하기 쉽게 샐런시 맵을 어떻게 더 집중적으로 만들 수 있는가?
• RQ2 특이성과 관련성을 균형 잡는 것이 기존의 변형 기반 방법에 비해 샐런시 설명의 품질을 얼마나 향상시키는가?
• RQ3 제안된 방법이 체스, 고, 아케이드 게임과 같은 다양한 환경에서 에이전트의 사고 과정을 더 정확하고 직관적인 시각화로 생성할 수 있는가?
• RQ4 사용자들이 이 방법으로 생성된 샐런시 맵의 해석 가능성(해석 가능성)을 기존 기준 방법에 비해 어떻게 평가하는가?
• RQ5 강화학습 에이전트의 해석 과제에서 샐런시 맵의 품질을 신뢰할 수 있게 평가할 수 있는 정량적 지표는 무엇인가?

주요 결과

• 체스 에이전트에 대한 인간 연구를 통해 검증된 바, 제안된 방법은 기존 접근보다 인간에게 더 해석 가능성이 높은 샐런시 맵을 생성한다.
• 해당 행동을 선택하는 데 영향을 주지 않는 관련 없는 입력 특징에 대한 주의를 줄여 더 집중적인 해석이 가능해졌다.
• 체스에서의 자동 평가에서, 이 방법은 에이전트의 행동 선택에 가장 관련성이 높은 특징을 더 잘 식별하는 데서 베이스라인에 앞서는 성과를 보였다.
• 특이성과 관련성을 효과적으로 균형 잡아, 취한 행동에 대해 가장 관련 있는 입력 특징만 강조하는 샐런시 맵을 생성하였다.
• 체스, 고, 아케이드 게임에서의 사례 연구를 통해 이전 기법보다 더 명확하고 직관적인 시각적 설명을 생성함을 확인하였다.
• 이 방법은 이산 행동 게임과 복잡한 전략 게임을 포함한 다양한 강화학습 환경에서 일관된 성능을 보였다.