[논문 리뷰] A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges

Yunpeng Qing, Shunyu Liu외 5명|arXiv (Cornell University)|2022. 11. 12.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 종합 검토는 설명 가능한 강화학습(XRL)을 위한 통합된 분류 체계를 제안하며, 에이전트 모델 설명, 보상 설명, 상태 설명, 작업 설명 방법으로 분류한다. 인간 지식이 학습 효율성 향상에 기여하는 역할을 강조하고, 평가, 다중 요소 설명 가능성, 성능와 설명 가능성의 균형 등 핵심 과제를 밝혀낸다.

ABSTRACT

Reinforcement Learning (RL) is a popular machine learning paradigm where intelligent agents interact with the environment to fulfill a long-term goal. Driven by the resurgence of deep learning, Deep RL (DRL) has witnessed great success over a wide spectrum of complex control tasks. Despite the encouraging results achieved, the deep neural network-based backbone is widely deemed as a black box that impedes practitioners to trust and employ trained agents in realistic scenarios where high security and reliability are essential. To alleviate this issue, a large volume of literature devoted to shedding light on the inner workings of the intelligent agents has been proposed, by constructing intrinsic interpretability or post-hoc explainability. In this survey, we provide a comprehensive review of existing works on eXplainable RL (XRL) and introduce a new taxonomy where prior works are clearly categorized into model-explaining, reward-explaining, state-explaining, and task-explaining methods. We also review and highlight RL methods that conversely leverage human knowledge to promote learning efficiency and performance of agents while this kind of method is often ignored in XRL field. Some challenges and opportunities in XRL are discussed. This survey intends to provide a high-level summarization of XRL and to motivate future research on more effective XRL solutions. Corresponding open source codes are collected and categorized at https://github.com/Plankson/awesome-explainable-reinforcement-learning.

연구 동기 및 목표

• 안전이 중요한 애플리케이션에서 특히 중요한 딥 강화학습(DRL) 에이전트의 투명성 부족 문제를 해결하기 위해.
• 기존 XRL 방법을 강화학습(RL) 프로세스의 설명 대상인 에이전트 모델, 보상, 상태, 작업 기반으로 분류하는 통합된 분류 체계를 수립하기 위해.
• 학습 효율성과 성능 향상에 기여하는 인간 지식을 활용하는 부족하게 평가받는 XRL 접근법을 부각하기 위해.
• 평가 기준화, 다중 요소 설명 가능성, 설명 가능성과 학습 효과성 간 균형 조절 등 XRL의 핵심 과제를 규명하기 위해.
• 미래 연구 및 개발을 지원하기 위해 XRL 도구와 방법을 선별한 오픈소스 자원을 제공하기 위해.

제안 방법

• 에이전트 모델 설명(예: 의사결정 트리와 같은 해석 가능한 모델 사용), 보상 설명(예: 해석 가능성 확보를 위한 보상 함수 정규화), 상태 설명(예: 관측치 해석을 위한 어텐션 맵), 작업 설명(예: 계층적 작업 분해)을 포함한 네 가지 분야로 구성된 분류 체계를 제안한다.
• 후행 설명 기법(예: 중요도 맵)과 내재적 해석 가능성(예: 희소 모델)을 통합하는 프레임워크를 도입하여 투명성 향상.
• 보상 형상 조정과 보상 모델링과 같은 인간 지식을 학습 과정에 통합하는 방법을 검토하여 성능과 설명 가능성 향상.
• 모델 복잡도, 성능, 설명 가능성 간의 상충 관계를 분석하고, 성능 손실 없이도 높은 해석 가능성 유지가 가능한 희소 또는 제약 있는 모델 사용을 주장.
• 다양한 설명 유형(예: 전반적 전략 요약과 국소 중요도 맵)의 통합을 통해 전체 RL 프로세스에 걸쳐 포괄적인 다중 요소 설명 가능성 달성.
• 재현성과 커뮤니티 활용을 위해 https://github.com/Plankson/awesome-explainable-reinforcement-learning 에서 오픈소스 XRL 구현체를 분류 및 수집.

실험 결과

연구 질문

• RQ1 RL 파이프라인의 어떤 구성 요소를 설명하는지에 따라 기존 XRL 방법을 체계적으로 분류할 수 있는가?
• RQ2 XRL 방법 평가의 핵심 과제는 무엇이며, 표준화된 벤치마크를 어떻게 구축할 수 있는가?
• RQ3 강화학습 에이전트의 학습 효율성과 설명 가능성 향상에 인간 지식을 얼마나 활용할 수 있는가?
• RQ4 전체 RL 과정에 걸쳐 포괄적인 투명성을 확보하기 위해 다중 요소 설명 가능성을 어떻게 달성할 수 있는가?
• RQ5 높은 모델 성능와 높은 설명 가능성 사이에 타협 가능한 균형이 존재하는가, 아니면 본질적인 상충관계가 존재하는가?

주요 결과

• 이 검토는 XRL에 대한 새로운 네 가지 요소로 구성된 분류 체계—에이전트 모델 설명, 보상 설명, 상태 설명, 작업 설명—를 수립하여 기존 방법을 체계적으로 분류할 수 있는 프레임워크를 제공한다.
• 이전 검토에서 간과되었지만 학습 효율성과 해석 가능성 향상에 핵심적인 역할을 하는 인간 지식을 활용하는 XRL 방법들(예: 보상 형상 조정, 인간-중심 학습)이 많다.
• 후행 설명 기법(예: 중요도 맵, 어텐션 기반 설명)은 상태 설명에 널리 사용되며, 희소 모델이나 의사결정 트리와 같은 내재적 방법은 에이전트 모델 설명에 효과적이다.
• 성능와 설명 가능성 사이에 본질적인 상충관계는 없으며, 선형 모델이나 의사결정 트리와 같은 단순하고 해석 가능한 모델이 강력한 성능를 유지하면서도 투명성을 확보할 수 있다.
• 다양한 설명 유형(예: 전반적 전략 요약과 국소 중요도 맵)의 통합은 포괄적인 다중 요소 설명 가능성 달성에 유망한 길을 제시한다.
• 표준화된 평가 지표의 부족은 여전히 주요 과제이며, Shen 등(2021)과 같은 몇몇 플랫폼만 자율주행 시나리오에서 XRL에 대한 비교 평가 프레임워크를 제안하고 있다.