[논문 리뷰] Counterfactual States for Atari Agents via Generative Deep Learning

Matthew Olson, Lawrence Neal외 2명|arXiv (Cornell University)|2019. 09. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 17

한 줄 요약

이 논문은 강화학습 에이전트가 다른 동작을 선택하도록 유도할 수 있는 최소한의 시각적 변화를 가진 대체 상태를 생성하기 위한 생성적 딥러닝 방법을 제안한다. 워샤르스타인 autoencoder와 잠재공간 최적화를 활용하여 현실적인 대체 상태를 생성함으로써, 30명의 참가자가 참여한 사용자 연구를 통해 비전문가 사용자들이 에이전트의 의사결정 과정을 더 잘 이해할 수 있게 되었다.

ABSTRACT

Although deep reinforcement learning agents have produced impressive results in many domains, their decision making is difficult to explain to humans. To address this problem, past work has mainly focused on explaining why an action was chosen in a given state. A different type of explanation that is useful is a counterfactual, which deals with "what if?" scenarios. In this work, we introduce the concept of a counterfactual state to help humans gain a better understanding of what would need to change (minimally) in an Atari game image for the agent to choose a different action. We introduce a novel method to create counterfactual states from a generative deep learning architecture. In addition, we evaluate the effectiveness of counterfactual states on human participants who are not machine learning experts. Our user study results suggest that our generated counterfactual states are useful in helping non-expert participants gain a better understanding of an agent's decision making process.

연구 동기 및 목표

• 에이전트가 다른 동작을 선택하도록 유도할 수 있는 최소한의 시각적 변화를 가진 대체 상태를 생성하는 방법을 개발하는 것.
• 직관적인 '만약에' 설명을 제공함으로써 딥강화학습 에이전트의 해석 가능성 향상.
• 비전문가 참가자들을 대상으로 한 사용자 연구를 통해 생성된 대체 상태의 현실성과 유용성 평가.
• 시각적 강화학습 환경에서 충실하고 의미 있는 대체 설명을 생성하기 위해 잠재공간 조작의 가능성을 탐색하는 것.
• 재생 중 에이전트 행동을 검토하고 검증할 수 있는 도구를 제공하여 신뢰도와 수용도 향상.

제안 방법

• 사전에 훈련된 DQN 에이전트에서 추출한 내부 상태 표현(잠재 코드)의 분포를 모델링하기 위해 워샤르스타인 autoencoder(WAE)를 훈련한다.
• 원본 잠재 코드와 목표 잠재 코드 간의 L2 거리를 최소화하면서도 에이전트 정책이 다른 동작을 선택하도록 하기 위해 잠재공간에서 최적화함으로써 대체 상태를 생성한다.
• 최적화된 잠재 코드를 이미지 공간으로 디코딩하기 위해 조건부 생성 네트워크를 사용하여 최종 대체 상태를 생성한다.
• 원본 상태에 대한 최소한의 현실적인 변형을 보장하기 위해 잠재공간에서 기울기 기반 최적화를 활용한다.
• 고도의 엔트로피를 가진 상태를 대체 상태 분석에 우선순위를 두기 위해 게임 재생 기록에서 핵심 프레임을 히우리스틱 기반으로 선택한다.
• 현실성과 효과성을 평가하기 위해 실재 게임 프레임과의 비교 및 아블레이션 연구를 실시한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델링을 통해 강화학습 에이전트가 시각적 환경에서 특정 동작을 선택한 이유를 설명할 수 있는 대체 상태를 생성할 수 있는가?
• RQ2 비전문가 사용자들이 평가했을 때, 생성된 대체 상태는 실제 게임 프레임과 얼마나 유사한가?
• RQ3 대체 상태는 비전문가 사용자들이 에이전트의 의사결정 과정을 이해하는 데 얼마나 기여하는가?
• RQ4 생성된 대체 상태에 나타나는 주요 아티팩트나 제약 조건들은 무엇이며, 이는 해석 가능성에 어떤 영향을 미치는가?
• RQ5 대체 상태 생성에 있어 영역 메우기나 패치 교체와 같은 대안적 접근 방식과 비교해 볼 때, 본 방법은 얼마나 유의미한 대체 상태를 생성하는가?

주요 결과

• 생성된 대체 상태의 평균 현실성 평가는 6점 만점에 4.00점이었으며, 이는 실제 게임 프레임와 통계적으로 유의미한 차이가 없었고(p = 0.458) 강한 시각적 현실성을 나타낸다.
• 30명의 참가자 중 15명이 대체 상태를 시청한 후 에이전트의 의사결정 과정을 더 잘 이해하게 되었다. 이는 단측 위르코신 순위합 검정에서 p-값 0.098을 기록하였다.
• 에이전트의 내부 표현 공간을 효과적으로 조작하여, 에이전트의 행동을 변경하기 위해 최소한의 시각적 변화만을 요구하는 대체 상태를 성공적으로 생성하였다.
• 흐릿함과 작은 물체(예: 스페이스 인베이더에서의 탄환)의 사라름과 같은 아티팩트가 관찰되었지만, 이는 사용자 이해에 심각한 영향을 주지는 않았다.
• 사용자 연구를 통해 지도형 현장 튜토리얼이 비전문가가 낯선 대체 설명 개념을 이해하는 데 필수적임을 확인하였다.
• 영역 메우기나 패치 교체와 같은 대안적 방법은 게임 규칙 위반과 시각적 일관성 결여로 인해 비현실적인 대체 상태를 생성하는 데 실패했고, 본 방법이 이를 능가하였다.