[논문 리뷰] CDT: Cascading Decision Trees for Explainable Reinforcement Learning

Zihan Ding, Pablo Hernández-Leal외 3명|arXiv (Cornell University)|2020. 11. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 11

한 줄 요약

이 논문은 표현 학습과 계층적 의사결정을 융합함으로써 설명 가능한 강화학습을 향상시키는 새로운 미분 가능한 의사결정트리 아키텍처인 캐스케이딩 의사결정트리(CDTs)를 제안한다. CDTs는 소프트 및 이산화 의사결정트리보다 정책 성능과 해석 가능성에서 뛰어나며, 더 적은 파라미터로 더 높은 정확도를 달성하고 더 안정적이고 인간이 읽을 수 있는 의사결정 경로를 제공한다.

ABSTRACT

Deep Reinforcement Learning (DRL) has recently achieved significant advances in various domains. However, explaining the policy of RL agents still remains an open problem due to several factors, one being the complexity of explaining neural networks decisions. Recently, a group of works have used decision-tree-based models to learn explainable policies. Soft decision trees (SDTs) and discretized differentiable decision trees (DDTs) have been demonstrated to achieve both good performance and share the benefit of having explainable policies. In this work, we further improve the results for tree-based explainable RL in both performance and explainability. Our proposal, Cascading Decision Trees (CDTs) apply representation learning on the decision path to allow richer expressivity. Empirical results show that in both situations, where CDTs are used as policy function approximators or as imitation learners to explain black-box policies, CDTs can achieve better performances with more succinct and explainable models than SDTs. As a second contribution our study reveals limitations of explaining black-box policies via imitation learning with tree-based explainable models, due to its inherent instability.

연구 동기 및 목표

• 복잡한 신경망 아키텍처로 인해 일반적으로 투명하지 않은 깊이 강화학습 정책을 설명하는 데 도전한다.
• 고차원 상태공간에서 충분한 표현력과 확장성을 갖추지 못한 기존의 미분 가능한 의사결정트리 방법(예: SDTs, DDTs)을 개선한다.
• 높은 해석 가능성과 함께 전면 강화학습 및 이mitation 학습 환경에서 경쟁 가능한 성능을 달성하는 모델을 개발한다.
• 이미테이션 학습을 통해 블랙박스 강화학습 정책을 설명하기 위해 트리 기반 모델을 사용할 때의 신뢰성에 대해 조사하며, 내재된 불안정성 문제를 드러낸다.

제안 방법

• 원시 관측값을 중간 표현으로 처리한 후 의사결정 트리로 연결하는 특징 학습 의사결정트리로 구성된 계단식 아키텍처를 제안한다.
• 미분 가능한 의사결정 노드와 소프트 라우팅을 사용하여 백프로파게이션을 통한 엔드 투 엔드 학습을 가능하게 하며, 트리 구조를 통해 기울기 흐름을 유지한다.
• 첫 번째 단계에서 표현 학습을 적용하여 복잡한 상태 의존성을 포괄하는 압축되고 의미 있는 중간 특징을 생성한다.
• 학습 후 최종 의사결정트리의 이산화를 통해 해석 가능성 향상을 도모하면서도 높은 예측 정확도를 유지한다.
• CDTs를 전면 강화학습에서 정책 근사기로 또는 사전에 훈련된 블랙박스 에이전트를 모방하는 이미테이션 학습을 통해 훈련한다.
• 모델의 표현력과 해석 가능성의 균형을 위해 중간 특징 공간에서 선형 변환을 적용하여 복잡한 비선형성을 피함으로써 투명성에 장애가 되는 요소를 제거한다.

실험 결과

연구 질문

• RQ1 표준 소프트 또는 이산화 의사결정트리와 비교해 볼 때, 계단식 의사결정트리 아키텍처가 강화학습에서 성능과 해석 가능성 양면에서 향상시킬 수 있는가?
• RQ2 의사결정 경로에서의 표현 학습이 결과 트리 모델의 표현력과 압축성에 어떤 영향을 미치는가?
• RQ3 트리 기반 모델을 사용한 이미테이션 학습은 블랙박스 강화학습 정책을 설명하는 데 신뢰할 수 있는 방법인가, 아니면 훈련 런 간에 구조적 불안정성 문제를 야기하는가?
• RQ4 CDTs는 높은 성능을 유지하면서도 히어리스틱 또는 직관적인 의사결정 규칙(예: CartPole에서의 규칙)을 어느 정도 회복할 수 있는가?
• RQ5 NBDTs나 신경망 기반 의사결정숲과 같은 최첨단 모델과 비교했을 때, CDTs는 파라미터 효율성과 해석 가능성 측면에서 어떤가?

주요 결과

• CDTs는 전면 강화학습 및 이미테이션 학습 환경 모두에서 SDTs보다 더 뛰어난 최종 성능을 달성하며, CartPole-v1, LunarLander-v2, MountainCar-v0에서 일관되게 높은 평균 보상 수준을 기록한다.
• CDTs는 SDTs보다 훨씬 적은 파라미터를 요구하여 더 압축되고 해석 가능한 트리 구조를 제공하며, 이산화 후에도 정확도를 유지하거나 향상시킨다.
• CartPole 환경에서 학습된 CDTs는 히어리스틱 정책과 밀접하게 유사한 의사결정 규칙을 생성한다: 만약 $ w\theta + \dot{\theta} < 0 $ 이면 왼쪽으로 밀고, 그렇지 않으면 오른쪽으로 밀며, 이는 인간의 직관적 논리와 일치함을 보여준다.
• LunarLander-v2에서 CDTs는 각도와 각속도의 조합, X-Y 좌표 간의 관계와 같은 의미 있는 특징 조합을 학습하며 효과적인 표현 학습을 보여준다.
• 트리 기반 모델을 사용한 이미테이션 학습은 런 간에 높은 구조적 변동성을 보였다: 유사한 성능를 기록함에도 불구하고, 서로 다른 CDTs와 SDTs는 다름없는 트리 구조와 특징 기여도를 생성하여 설명의 불안정성을 드러냈다.
• CDTs는 SDTs보다 트리 깊이에 더 민감하지 않으며, CartPole 및 LunarLander 환경에서 다양한 깊이에서 더 안정적인 학습 곡선과 더 나은 일반화 성능을 보였다.