[논문 리뷰] Explainable Reinforcement Learning via Model Transforms

Mira Finkelstein, Lucy Liu외 5명|arXiv (Cornell University)|2022. 09. 24.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 인간이 이해할 수 있는 설명을 생성하기 위해 형식적 마르코프 결정 과정(MDP) 변환을 사용하는 설명 가능한 강화학습(XRL)의 새로운 프레임워크를 제안한다. 이는 환경 모델이 불완전하거나 에이전트가 모델리스일 경우에도, 상태 축소나 결과 완화와 같은 기호적 MDP 변환을 자동으로 탐색하여 에이전트의 정책이 기대 행동과 일치하도록 하는 데 목적이 있다. 이는 PRE+CLUSTER와 같은 효율적인 검색 알고리즘을 통해 높은 설명 품질을 달성한다.

ABSTRACT

Understanding emerging behaviors of reinforcement learning (RL) agents may be difficult since such agents are often trained in complex environments using highly complex decision making procedures. This has given rise to a variety of approaches to explainability in RL that aim to reconcile discrepancies that may arise between the behavior of an agent and the behavior that is anticipated by an observer. Most recent approaches have relied either on domain knowledge that may not always be available, on an analysis of the agent's policy, or on an analysis of specific elements of the underlying environment, typically modeled as a Markov Decision Process (MDP). Our key claim is that even if the underlying model is not fully known (e.g., the transition probabilities have not been accurately learned) or is not maintained by the agent (i.e., when using model-free methods), the model can nevertheless be exploited to automatically generate explanations. For this purpose, we suggest using formal MDP abstractions and transforms, previously used in the literature for expediting the search for optimal policies, to automatically produce explanations. Since such transforms are typically based on a symbolic representation of the environment, they can provide meaningful explanations for gaps between the anticipated and actual agent behavior. We formally define the explainability problem, suggest a class of transforms that can be used for explaining emergent behaviors, and suggest methods that enable efficient search for an explanation. We demonstrate the approach on a set of standard benchmarks.

연구 동기 및 목표

• 강화학습 에이전트의 탄생 행동을 설명하는 데 도전하는 것, 특히 정책이 인간의 기대와 다를 경우에 초점 맞추기.
• 도메인 특화 지식이나 신경망의 사후 분석에 의존하는 기존 XRL 방법의 한계를 극복하기.
• 부분적 또는 근사적인 MDP 모델을 사용하여 설명 생성을 가능하게 하며, 모델리스 RL 환경에서도 적용 가능하도록 하기.
• 에이전트 행동과 관찰자의 기대를 조율하는 기호적 MDP 변환을 자동으로 식별하는 스케일러블한 방법 개발.
• 복잡한 환경에서의 설명 검색 효율성을 향상시키기 위해 가지치기 및 정책 부트스트래핑 기법을 활용하기.

제안 방법

• 해석 가능성 문제를 강화학습 정책 설명(RLPE)으로 공식화하며, 액터, 기대 정책이 있는 관찰자, 부분적 MDP 모델에 접근 가능한 설명기로 구성된다.
• 기존의 MDP 변환 문헌—예: 상태공간 축소, 가능성 있는 결과 완화, 조건부 조건 완화, 모든 결과 결정성, 삭제 완화—을 활용하여 환경 모델을 기호적으로 조작한다.
• 개별 행동이나 변수에 대해 매개변수화된 변환을 적용하며, 환경의 구조와 동역학에 기반해 자동으로 기반을 설정한다.
• 세 가지 검색 전략을 구현: BASE(Dijkstra 기반 최적 검색), PRE-TRAIN(정책 부트스트래핑 검색, 집중적 업데이트), PRE+CLUSTER(군집화된 변환 평가를 통한 가지치기).
• 상태 간 액터의 정책과 기대 정책 간 일치도를 평가하기 위해 만족도 비율 지표를 사용하며, 설명 길이를 거리 척도로 활용한다.
• 검색 깊이를 3으로 제한하고, CPU 클러스터를 사용해 평가하며, DQN 및 PPO 에이전트를 사용한 단일 및 다중 에이전트 벤치마크에 집중한다.

실험 결과

연구 질문

• RQ1 환경 모델이 불완전하거나 에이전트가 모델리스일 경우에도 형식적 MDP 변환을 사용해 강화학습 에이전트 행동과 관찰자의 기대 간 격리 원인을 자동으로 의미 있는 설명으로 생성할 수 있는가?
• RQ2 BASE, PRE-TRAIN, PRE+CLUSTER와 같은 다양한 검색 전략은 설명 품질과 계산 효율성 사이의 균형을 얼마나 잘 유지하는가?
• RQ3 예를 들어 완화나 추상화와 같은 기호적 MDP 변환은 표준 강화학습 벤치마크에서 에이전트의 실제 정책과 기대 정책을 얼마나 잘 조율할 수 있는가?
• RQ4 단일 및 다중 에이전트 환경에서 복잡도와 동역학이 다양할 경우 이 방법은 어떻게 확장되는가?
• RQ5 예를 들어 여러 행동에 대해 삭제 완화를 동시에 적용하는 식으로 군집화된 변환 평가 기반 가지치기가 설명 품질을 손상시키지 않고도 검색 시간을 크게 줄일 수 있는가?

주요 결과

• PRE+CLUSTER는 계산 시간과 설명 품질 사이의 최적 균형을 달성하여, 런타임에서 BASE 및 PRE-TRAIN을 능가하면서도 높은 만족도 비율을 유지했다.
• 삼각형 타이어월드 도메인에서, PRE+CLUSTER는 BASE보다 7배 이상 빠르게 작동했으며, 만족도 비율은 약간 감소(최악의 경우 84% 성공)하였다.
• 모든 도메인 간 만족도 비율의 평균 분산은 낮아(0.03) 다양한 환경에서 일관된 성능을 보였다.
• PPO를 사용한 다중 에이전트 설정에서는 PRE+CLUSTER가 가장 빠른 런타임을 기록했으며, 최적 방법 대비 정책 만족도 비율은 최대 10% 하락하였다.
• PRE+CLUSTER에서 군집화된 변환 평가 및 가지치기를 통해 개별 변환 탐색 수를 크게 줄여 검색 효율성을 향상시켰으며, 정확도 손실 없이도 성능 향상을 이뤘다.
• 전이 동역학이 명시적으로 정의되지 않은 환경에서도, 먼저 조건부 조건 완화를 위한 전이 행렬을 학습함으로써 설명을 성공적으로 생성하였다.