[논문 리뷰] Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions

Zhengxian Lin, Kim-Ho Lam외 1명|arXiv (Cornell University)|2020. 10. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 11

한 줄 요약

이 논문은 일반화된 가치함수(GVFs)를 통해 인간이 이해할 수 있는 미래 예측을 대비시켜 행동 선호도를 설명하는 딥 강화학습 아키텍처인 임bedded Self-Prediction(ESP) 모델을 제안한다. GVFs는 에이전트의 최적 정책을 스스로 예측하도록 훈련되어, 통합 기울기와 최소 충분한 설명을 통한 신뢰할 수 있는 대조적 설명을 가능하게 하며, 복잡한 실시간 전략 게임에서 검증된 인사이트가 풍부하고 인간이 이해할 수 있는 결과를 도출한다.

ABSTRACT

We investigate a deep reinforcement learning (RL) architecture that supports explaining why a learned agent prefers one action over another. The key idea is to learn action-values that are directly represented via human-understandable properties of expected futures. This is realized via the embedded self-prediction (ESP)model, which learns said properties in terms of human provided features. Action preferences can then be explained by contrasting the future properties predicted for each action. To address cases where there are a large number of features, we develop a novel method for computing minimal sufficient explanations from anESP. Our case studies in three domains, including a complex strategy game, show that ESP models can be effectively learned and support insightful explanations.

연구 동기 및 목표

• 원시 Q-값이 아닌 인간이 이해할 수 있는 대조적 미래 예측을 사용하여 행동 선호도를 설명하는 딥 RL 에이전트를 개발하는 것.
• 높은 차원의 상태 공간에서 복잡한 행동 선호도를 설명하는 데 도전하는 데, 의미 있는 도메인 제공 특징을 가치함수에 통합하는 것.
• 에이전트의 그리디 정책을 스스로 예측하도록 GVFs를 훈련시켜 설명의 타당성을 확보하는 것.
• 고특징 설정에서 설명을 단순화하기 위해 최소 충분한 설명과 통합 기울기를 사용하여 특징 기여도를 산정하는 것.

제안 방법

• ESP 모델은 각 GVF가 미래 경로 동안 인간이 제공한 특징의 할인 누적 기대값을 예측하도록 행동-가치 함수에 일반화된 가치함수(GVFs)를 통합한다.
• GVFs는 스스로 예측 가능하도록 훈련된다: Q-함수에서 유도된 정책는 예측된 GVF 값의 최대화를 위한 정책와 일치해야 한다.
• 표본 설정에서 이론적 수렴 보장을 갖는 ESP-DQN 알고리즘을 도입하고, 딥 RL에서의 실증적 검증을 수행한다.
• 통합 기울기(IG)를 적용하여 한 행동이 다른 행동보다 왜 선호되는지 설명하는 특징 기여도를 계산하며, 기여도의 타당성을 보장한다.
• 최소 충분한 설명(MSE)을 사용하여 설명의 타당성을 유지하면서도 가장 중요한 특징 집합을 식별함으로써 고차원 특징 공간에서의 설명 해석 가능성을 향상시킨다.
• 프레임워크는 세 가지 도메인에서 평가되었으며, 복잡한 실시간 전략 게임(스타크래프트 II)을 포함하여 GVF 예측과 기여도에 대한 정성적 및 정량적 분석을 수행했다.

실험 결과

연구 질문

• RQ1 딥 RL 에이전트는 원시 Q-값이 아닌 인간이 이해할 수 있는 미래 성질을 사용하여 행동 선호도의 대조적 설명을 제공할 수 있는가?
• RQ2 에이전트의 정책이 예측된 미래 성질과 일치하도록 Q-함수에 GVFs를 어떻게 통합할 수 있는가?
• RQ3 통합 기울기가 GVFs 맥락에서 행동 선호도에 기여하는 특징의 타당하고 충실한 기여도를 산정할 수 있는가?
• RQ4 복잡하고 고차원적인 설명을 손실 없이 단순화하기 위해 최소 충분한 설명을 어떻게 계산할 수 있는가?
• RQ5 ESP 모델이 도출한 설명은 도메인 지식과 얼마나 일치하며, 에이전트의 행동에서 타당한 추론과 결함을 드러내는가?

주요 결과

• 스타크래프트 II 사례 연구에서 ESP 모델은 +8 마린을 구매하면 적의 인모럴리언트 피해를 줄이고 적 기지 근처에 우호적인 마린을 배치함으로써 더 빠른 승리를 이끌어내는 것을 정확히 식별했다.
• 모델은 비최적 행동이 더 높은 예상 피해와 기지 파괴 확률을 초래함을 드러내어 게임 메커니즘과 일치함을 확인했으며, 이는 모델의 추론이 타당함을 검증한다.
• 통합 기울기는 상대적으로 높은 선호도를 적의 인모럴리언트에 대응하는 행동(F94)에 기여함을 보여주었으며, 이는 에이전트가 유닛 수량보다 위협 완화를 우선시함을 시사한다.
• 최소 충분한 설명은 관련 특징의 수를 성공적으로 줄여 사용자가 행동 선호도의 가장 중요한 요소에 집중할 수 있도록 했다.
• 모델는 GVFs 예측의 결함을 드러내었으며, 예를 들어 음수의 예상 생존 유닛 수 등이 관측되어 훈련 시 ReLU와 같은 출력 제약 조건이 필요함을 시사했다.
• 설명은 알려진 게임 메커니즘과 일치했다—예를 들어 마린은 인모럴리언트를 상쇄하고, 반대로 벤얼링은 마린을 상쇄함—이를 통해 모델가 도메인 관련 전략적 논리를 올바르게 포착하고 있음을 입증했다.