[논문 리뷰] A Survey of Explainable Reinforcement Learning

Stephanie Milani, Nicholay Topin외 2명|arXiv (Cornell University)|2022. 02. 17.

Explainable Artificial Intelligence (XAI)인용 수 25

한 줄 요약

이 연구는 설명 가능한 강화 학습(XRL)을 위한 새로운 분류체계를 제안하고, FI, LPM, PL 범주의 기법을 검토하며, 격차와 향후 방향을 개요화한다.

ABSTRACT

Explainable reinforcement learning (XRL) is an emerging subfield of explainable machine learning that has attracted considerable attention in recent years. The goal of XRL is to elucidate the decision-making process of learning agents in sequential decision-making settings. In this survey, we propose a novel taxonomy for organizing the XRL literature that prioritizes the RL setting. We overview techniques according to this taxonomy. We point out gaps in the literature, which we use to motivate and outline a roadmap for future work.

연구 동기 및 목표

• 배치 문제와 의사결정의 투명성 부족으로 강화 학습에서 설명 가능성의 필요성을 동기화한다.
• RL 구성요소를 밝히는 설명을 구성하는 새로운 XRL 분류체계를 도입한다.
• 제안된 분류체계 내 대표적인 XRL 기법에 대한 포괄적 검토를 제공한다.
• 문헌의 격차를 식별하고 평가 벤치마크 및 RL-특화 설명을 포함한 향후 작업 로드맵을 제시한다.

제안 방법

• RL 프로세스 및 에이전트 설명(FI, LPM, PL)을 중심으로 한 XRL의 새로운 분류체계를 제안한다.
• 분류체계에 따라 대표적인 XRL 접근법을 조사하고 분류한다.
• Intrinsic versus post-hoc 설명과 RL 설정 내 로컬 versus 글로벌 설명을 대비한다.
• 설명의 타당도, 관련성, 인지 부담 등을 포함한 설명 평가 지표를 논의한다.
• 향후 방향, 벤치마크, RL-특화 설명 방법 및 설명의 특성 등을 강조한다.

실험 결과

연구 질문

• RQ1 XRL에서 설명의 주요 범주는 무엇이며 그것들이 RL 에이전트의 서로 다른 부분 및 학습 과정과 어떻게 관련되어 있는가?
• RQ2 FI, LPM 및 PL 설명은 에이전트 의사결정과 장기 행동에 대해 무엇을 드러내는지 어떻게 다른가?
• RQ3 현재 XRL 문헌의 격차는 무엇이며 RL-전용 설명 및 벤치마크를 발전시킬 로드맵은 무엇인가?
• RQ4 RL 맥락에서 설명은 어떻게 평가되어야 하는가, 사용자 연구 및 표준화된 벤치마크를 포함하여?
• RQ5 RL 고유의 특성(보상, 전이, 장기 행동)을 활용할 수 있는 미래의 RL-전용 설명 기법은 어떤 것이 가능한가?

주요 결과

• XRL에 대한 새로운 분류체계는 기술을 RL 에이전트의 부분에 따라 구성한다: feature importance (FI), learning process and MDP (LPM), 그리고 policy-level (PL).
• FI 설명은 의사결정을 위한 액션 레벨의 즉각적 맥락 설명을 제공하는 반면 PL 설명은 장기 행동을 요약하고 LPM 설명은 학습 또는 MDP 관련 영향을 밝힌다.
• 내재적으로 해석 가능한 정책과 사후 대리 설명의 혼재가 있으며, 타당도와 인지 부하의 트레이드오프가 있다.
• 많은 현재 방법이 지도 학습에서 차용되며 강화 학습의 보상 및 전이 역학과 같은 RL 특성 요소를 완전히 활용하지 못한다.
• 문헌은 평가 방법, 벤치마킹 및 RL-특화 설명 기법에 공백이 있음을 보여주며, 표준화된 벤치마크와 인간 포함 평가를 위한 로드맵을 촉진한다.