[논문 리뷰] GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations

Tobias Huber, Maximilian Demmler외 3명|arXiv (Cornell University)|2023. 02. 24.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 별도의 모델에 종속되지 않는 방법인 GANterfactual-RL을 제안한다. 이는 복잡한 시각적 입력을 가진 딥 강화학습(Deep Reinforcement Learning, DRL) 에이전트의 시각적 역사적 설명을 생성하기 위해, StarGAN 기반의 적대적 학습을 사용하여 역사적 생성 문제를 도메인 변환 문제로 재정의한다. 이는 계산적 지표에서 이전의 연구를 능가하며, 사용자 연구에서 DRL 에이전트의 전략에 대한 이해도를 크게 향상시키지만, 아티팩트와 시각적 표현 문제로 인해 주관적인 만족도는 낮다.

ABSTRACT

Counterfactual explanations are a common tool to explain artificial intelligence models. For Reinforcement Learning (RL) agents, they answer "Why not?" or "What if?" questions by illustrating what minimal change to a state is needed such that an agent chooses a different action. Generating counterfactual explanations for RL agents with visual input is especially challenging because of their large state spaces and because their decisions are part of an overarching policy, which includes long-term decision-making. However, research focusing on counterfactual explanations, specifically for RL agents with visual input, is scarce and does not go beyond identifying defective agents. It is unclear whether counterfactual explanations are still helpful for more complex tasks like analyzing the learned strategies of different agents or choosing a fitting agent for a specific task. We propose a novel but simple method to generate counterfactual explanations for RL agents by formulating the problem as a domain transfer problem which allows the use of adversarial learning techniques like StarGAN. Our method is fully model-agnostic and we demonstrate that it outperforms the only previous method in several computational metrics. Furthermore, we show in a user study that our method performs best when analyzing which strategies different agents pursue.

연구 동기 및 목표

• 시각적 입력을 가진 딥 강화학습 에이전트에 대해 효과적이고 시각적인 역사적 설명이 부족한 문제를 해결하기 위해.
• 사용자가 '만약 어떻게 되었을까?' 또는 '왜 그렇지 않았을까?'와 같은 질문에 답함으로써 다양한 DRL 에이전트의 잠재 전략을 이해할 수 있도록 하기 위해.
• 에이전트의 결정을 변화시키기 위해 최소한의 현실적인 입력 변형을 생성하는 모델에 종속되지 않는 방법을 개발하기 위해.
• 역사적 설명이 기존의 설명 기법을 초월하여 사용자들이 에이전트 행동을 이해하는 데 기여하는지 평가하기 위해.
• 특히 사용자 만족도와 신뢰 조정 측면에서 현재의 역사적 설명 기법의 한계를 규명하기 위해.

제안 방법

• 역사적 생성을 도메인 전이 문제로 재정의하여, 원본 상태를 다른 행동을 유도하는 역사적 상태로 변환한다.
• StarGAN 기반의 생성적 적대적 네트워크를 활용하여 도메인 전이를 수행함으로써, 적대적 손실과 복원 손실을 포함한 엔드 투 엔드 학습이 가능하도록 한다.
• 모든 사전 학습된 DRL 에이전트에 적용 가능한 완전한 모델에 종속되지 않는 방법으로, 정책 네트워크나 보상 함수에 대한 접근이 필요하지 않다.
• 생성자 모델은 행동 변화를 최소화하면서도, 시각적 현실성과 입력 변형의 최소화를 동시에 고려하여 훈련된다.
• 생성된 역사적 상태가 실제 상태와 구분되지 않도록 하기 위해 판별자 모델을 사용하여 현실성과 품질을 보장한다.
• 이 방법은 아케이트 게임 프레임과 같은 복잡하고 고차원적인 시각적 입력에 대해서도 역사적 상태를 생성할 수 있다.

Figure 1. Example for a counterfactual explanation: In the original situation (a), the agent does not take the fastest path to the pill in the top right corner. It is unclear if the agent is afraid of the ghost or does not recognize the shortest path. The counterfactual state (b) shows that the agen

실험 결과

연구 질문

• RQ1 역사적 설명은 시각적 입력을 가진 딥 RL 에이전트의 의사결정 전략을 효과적으로 드러내는가?
• RQ2 GANterfactual-RL은 시각적 역사적 설명을 위한 유일한 이전 방법과 비교해 계산 효율성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 역사적 설명은 사전 지도맵이나 설명 없음과 비교해 사용자들이 에이전트 행동을 이해하는 데 얼마나 기여하는가?
• RQ4 주관적인 이해도 향상에도 불구하고 사용자들이 역사적 설명에 대해 낮은 만족도를 보이는 이유는 무엇인가?
• RQ5 역사적 설명은 사용자가 주어진 작업에 가장 적합한 에이전트를 선택하는 데 도움이 되는가?

주요 결과

• GANterfactual-RL은 성공률, 변형 크기, 추론 시간을 포함한 모든 계산 지표에서 이전 최신 기술 수준의 방법을 능가했다.
• 사용자 연구에서 GANterfactual-RL을 사용한 참가자들은 에이전트 이해 과제에서 50%의 점수를 기록했으며, 사전 지도맵을 사용한 경우 37%에 못 미치는 수준으로 유의미하게 높았다.
• 객관적인 이해도 향상에도 불구하고, 사용자들은 역사적 설명에 대해 설명 없음보다도 낮은 만족도를 보였으며, 이는 주관적인 사용성 격차를 시사한다.
• 참가자들은 역사적 상태에 시각적 아티팩트가 포함되어 있어 인식 품질과 신뢰도에 부정적인 영향을 미쳤다고 지적했다.
• 역사적 설명은 전략 이해도 향상에는 기여했지만, 작업에 가장 적합한 에이전트를 선택하는 능력 향상에는 유의미한 영향을 주지 못했으며, 이는 전략 이해를 초월한 영역 전문 지식이 필요하기 때문이다.
• 연구 결과는 역사적 설명이 에이전트 행동의 정신 모델를 다듬는 데 더 효과적임을 확인했으며, 에이전트에 대한 신뢰 조정에는 다소 부족함을 보였다.

Figure 2. Schematic of our counterfactual generation approach. We formulate the problem as domain transfer where each domain represents an action. States are assigned to domains based on the action that the agent chooses for them.