[논문 리뷰] Distal Explanations for Model-free Explainable Reinforcement Learning

Prashan Madumal, Tim Miller외 2명|arXiv (Cornell University)|2020. 01. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 6

한 줄 요약

이 논문은 모델리스 강화학습 에이전트를 위한 원인-결과 설명 모델을 제안하며, 의사결정 트리와 인과 모델을 사용해 기회 체인(A가 B를 가능하게 하고, B가 C를 유도함)을 학습함으로써 '왜'와 '왜 아닐까'에 대한 설명을 생성한다. 이는 작업 예측 정확도와 반사적 설명 정확도를 향상시키며, 세 가지 시나리오에서 90명의 참가자가 참여한 인간 연구에서 두 가지 베이스라인을 능가한다.

ABSTRACT

In this paper we introduce and evaluate a distal explanation model for model-free reinforcement learning agents that can generate explanations for `why' and `why not' questions. Our starting point is the observation that causal models can generate opportunity chains that take the form of `A enables B and B causes C'. Using insights from an analysis of 240 explanations generated in a human-agent experiment, we define a distal explanation model that can analyse counterfactuals and opportunity chains using decision trees and causal models. A recurrent neural network is employed to learn opportunity chains, and decision trees are used to improve the accuracy of task prediction and the generated counterfactuals. We computationally evaluate the model in 6 reinforcement learning benchmarks using different reinforcement learning algorithms. From a study with 90 human participants, we show that our distal explanation model results in improved outcomes over three scenarios compared with two baseline explanation models.

연구 동기 및 목표

• 강화학습 에이전트를 위한 설명 모델을 개발하여 인과적 추론을 통해 '왜'와 '왜 아닐까' 질문에 답할 수 있도록 한다.
• 기존의 행동-영향 모델의 한계를 보완하기 위해 설명에 미래 의존 행동(원인적 행동)을 통합한다.
• 인간의 인지 패턴에 기반하여 인간-에이전트 연구에서 수집한 240개의 인간 생성 설명을 분석함으로써 설명 모델을 구체화한다.
• 의사결정 트리와 인과 체인을 통합하여 작업 예측 정확도와 설명 품질을 향상시킨다.
• 모델을 여섯 개의 강화학습 벤치마크와 세 개의 커스터마이징된 스타크래프트 II 시나리오에서 인간 연구를 통해 평가한다.

제안 방법

• 모델은 순환 신경망을 사용해 에이전트 행동에서 기회 체인을 학습하며, 행동 간의 인과적 의존 관계를 포착한다.
• 의사결정 트리는 에이전트의 정책을 표현하고 행동 간 의존 관계를 모델링함으로써 작업 예측 정확도를 향상시킨다.
• 행동 영향 그래프에서 유도된 인과 모델을 사용해 기회 체인(A가 B를 가능하게 하고, B가 C를 유도함)을 추출하고 검증한다.
• 현재 행동을 수정하고 기회 체인에서 발생하는 변화를 추적함으로써 반사적 설명을 생성한다.
• 의사결정 트리 예측 결과를 인과 체인과 통합하여 설명 품질과 작업 예측 성능을 동시에 개선한다.
• 세 개의 커스터마이징된 스타크래프트 II 시나리오에서 90명의 참가자가 참여한 인간 연구를 통해 설명 품질과 작업 예측 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 협업적 강화학습 환경에서 인간은 어떻게 자연스럽게 에이전트 행동을 설명하는가?
• RQ2 인간의 설명은 얼마나 많은 경우에 현재 행동에 의해 영향을 받는 미래 행동(원인적 행동)에 의존하는가?
• RQ3 기회 체인(A가 B를 가능하게 하고, B가 C를 유도함)을 학습하는 모델이 강화학습에서 작업 예측 정확도와 설명 품질을 향상시킬 수 있는가?
• RQ4 인간 평가에서 원인적 설명 모델은 행동 기반 및 상태-행동 기반 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ5 사전 도메인 지식(예: 게임 경험)은 인간이 에이전트 설명을 이해하는 데 어떤 영향을 미치는가?

주요 결과

• 인간-에이전트 연구에서 240개의 인간 생성 설명이 현재 행동에 의해 영향을 받는 미래 행동을 빈번히 언급함으로써 기회 체인의 존재를 확인했다.
• 인간 연구에서 원인적 설명 모델은 작업 예측 정확도와 설명 품질 측면에서 두 개의 베이스라인 모델을 뚜렷이 뛰어넘었다.
• 참가자들은 원인적 설명이 더 직관적이고 정보량이 많다고 평가했으며, 특히 복잡한 협업 시나리오에서 그러한 경향이 뚜렷했다.
• 스타크래프트 II 경험과 작업 예측 점수 사이에 통계적으로 유의미한 상관관계가 없었음(p = 0.133)을 고려할 때, 모델의 효과성이 도메인 전문 지식에 의존하지 않음을 시사한다.
• 모델의 성능은 기초가 되는 인과 그래프의 정확성에 민감함을 보였으며, 이는 도메인 내 정확한 인과적 구조 확보의 중요성을 강조한다.
• 원인적 설명(기능적 및 인과적 관계에 초점을 맞춘 설명)이 인간-에이전트 협업 성과를 향상시킬 수 있음을 입증했다.