[논문 리뷰] Explainable Reinforcement Learning for Broad-XAI: A Conceptual Framework and Survey

Richard Dazeley, Peter Vamplew외 1명|arXiv (Cornell University)|2021. 08. 20.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 인과적 추론을 인식, 목표, 행동, 결과 전반에 통합하여 광범위한 XAI를 위한 배경으로 삼는 개념적 모델인 Causal XRL Framework (CXF)를 제안한다. XRL이 단순한 결정 해석을 넘어서 다수 수준의 대화형 설명을 가능하게 하여 강화학습을 신뢰할 수 있고 사회적으로 수용 가능한 AI 시스템을 구축하는 데 중심적인 역할을 할 수 있음을 보여준다.

ABSTRACT

Broad Explainable Artificial Intelligence moves away from interpreting individual decisions based on a single datum and aims to provide integrated explanations from multiple machine learning algorithms into a coherent explanation of an agent's behaviour that is aligned to the communication needs of the explainee. Reinforcement Learning (RL) methods, we propose, provide a potential backbone for the cognitive model required for the development of Broad-XAI. RL represents a suite of approaches that have had increasing success in solving a range of sequential decision-making problems. However, these algorithms all operate as black-box problem solvers, where they obfuscate their decision-making policy through a complex array of values and functions. EXplainable RL (XRL) is relatively recent field of research that aims to develop techniques to extract concepts from the agent's: perception of the environment; intrinsic/extrinsic motivations/beliefs; Q-values, goals and objectives. This paper aims to introduce a conceptual framework, called the Causal XRL Framework (CXF), that unifies the current XRL research and uses RL as a backbone to the development of Broad-XAI. Additionally, we recognise that RL methods have the ability to incorporate a range of technologies to allow agents to adapt to their environment. CXF is designed for the incorporation of many standard RL extensions and integrated with external ontologies and communication facilities so that the agent can answer questions that explain outcomes and justify its decisions.

연구 동기 및 목표

• 기존의 해석 가능한 기계학습(Interpretable Machine Learning, IML)과는 구별되는, 설명 가능한 강화학습(Explainable Reinforcement Learning, XRL)을 설명 가능한 AI(XAI)의 독립적이고 기초적인 분야로 정립하기 위해.
• 현재 XAI 연구가 주로 0차 설명(예: 특성 기여도)에 집중하고 있는 데 비해, 인간의 인지 및 사회 모델과 일치하는 통합적이고 다수 수준의 설명을 제안하기 위해.
• 인식, 목표, 행동, 결과 전반을 인과 관계로 통합하여 설명을 체계화하는 개념적 프레임워크인 Causal XRL Framework (CXF)를 제안하기 위해.
• 기존 XRL 기법들을 CXF 구성 요소에 대응시켜 연구 격차와 향후 방향성을 규명하기 위해, 목표 중심, 정서 인식, 계층적 강화학습 기반 설명에 초점을 맞춘다.
• XRL이 결정을 해석하는 도구를 넘어서, 에이전트 행동의 대화형이고 맥락 인식 기반의 정당화를 가능하게 하는 진정한 광범위한 XAI 시스템을 위한 인지적 배경으로서의 역할을 정의하기 위해.

제안 방법

• 강화학습 에이전트의 행동이 인식, 성향, 목표, 행동을 통해 결과로 이어지는 과정을 모델링하는 7개의 구성 요소로 이루어진 방향성 인과 그래프인 Causal XRL Framework (CXF)를 제안한다.
• 인지과학과 할당 이론에서 유래한 인과적 설명 네트워크(Casual Explanation Network, CEN)를 변형하여 AI 에이전트에서 인간과 유사한 인과적 추론을 모델링한다.
• 현재 XRL 연구의 수준을 반영하고 평가의 기준이 되는 기초 모델로, 인식과 행동 원인에 집중한 Simplified-CXF를 제안한다.
• 기존 XRL 기법들을 CXF 구성 요소에 매핑한다: XRL-Perception는 기능 근사와 상태 특성 해석을 위해 IML 기법을 활용하며, XRL-Behavior는 Q-값, 정책, 가치 함수의 내성적 분석을 통해 행동 시퀀스를 설명한다.
• 외부 온톨로지와 커뮤니케이션 메커니즘을 프레임워크에 통합하여 설명 수혜자의 요구에 맞춘 자연어 설명을 가능하게 한다.
• 향후 연구 방향으로는 사건 기반 설명을 위한 예측 상태 인코더 사용과 계층적, 다목표, 내재적 동기 부여 기반 강화학습에서의 설명 가능성 향상 등을 제안한다.

실험 결과

연구 질문

• RQ1 XRL은 기존의 IML 접근 방식을 넘어서 광범위한 XAI의 독립적이고 기초적인 구성 요소로 어떻게 개념화될 수 있는가?
• RQ2 인식, 목표, 행동, 결과 전반에 걸쳐 강화학습 에이전트 행동의 포괄적인 설명을 모델링하기 위해 필요한 인과적 구성 요소는 무엇인가?
• RQ3 현재의 XRL 기법들은 제안된 Causal XRL Framework (CXF)와 어떻게 부합하는가? 그리고 핵심 연구 격차는 어디에 있는가?
• RQ4 계층적, 다목표, 내재적 동기 부여 기반 강화학습은 목표 중심 및 정서 인식 기반 설명을 어떻게 지원할 수 있는가?
• RQ5 예측 상태 표현과 기대 기반 추론은 XRL에서 사건 기반 및 대조적 설명의 발전에 어떤 역할을 할 수 있는가?

주요 결과

• Causal XRL Framework (CXF)는 인지과학에서 영감을 얻은 7개의 상호 연결된 구성 요소로 이루어진 인과적 추론의 전반적인 스펙트럼을 강화학습 에이전트의 인식에서 결과까지 성공적으로 매핑한다.
• 대부분의 현재 XRL-Perception 연구는 IML 기법에서 유래되었으며, 특히 기능 근사와 상태 특성의 해석에 초점을 맞추고 있다. 그러나 새로운 방법들은 정책과 가치 함수의 내성적 분석을 통해 IML을 초월하고 있다.
• XRL-Behavior 연구는 강화학습에서의 시간적·순차적 추론이 행동 시퀀스에 대한 인과적 설명을 가능하게 하며, 모델 기반 및 가치 기반 방법이 동적이고 해석 가능한 설명을 제공함을 보여준다.
• 대조적 및 반사적 설명은 상태 특성과 결과 간의 인과적 연결을 활용함으로써 XRL에서 부상하고 있으며, 이는 더 인간 중심의 설명 유형으로의 전환을 시사한다.
• Simplified-CXF는 인식과 행동 원인에 집중하고 있어 현재의 최첨단 수준을 반영하고 있으며, XRL 기법 평가의 실용적 기준이 된다.
• 향후 연구 기회로는 계층적 강화학습, 다목표 최적화, 내재적 동기 부여, 정서 인식 모델을 CXF에 통합하여 더 풍부하고 맥락 민감한 설명을 지원하는 것이 있다.