[논문 리뷰] MoET: Interpretable and Verifiable Reinforcement Learning via Mixture of Expert Trees

Marko Vasić, Andrija Petrović외 4명|arXiv (Cornell University)|2019. 09. 25.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

MoET는 게이팅 네트워크와 전문화된 결정 트리 전문가를 조합함으로써 딥 강화학습에서 해석 가능성과 검증 가능성을 향상시키는 전문가 트리의 혼합(Mixture of Expert Trees) 프레임워크를 제안한다. 암시 학습을 통해 훈련된 MoET는 전역 결정 트리보다 뛰어난 성능과 낮은 잘못 예측 비율을 달성하면서도 Z3와 같은 자동 검증 도구와도 호환된다.

ABSTRACT

Deep Reinforcement Learning (DRL) has led to many recent breakthroughs on complex control tasks, such as defeating the best human player in the game of Go. However, decisions made by the DRL agent are not explainable, hindering its applicability in safety-critical settings. Viper, a recently proposed technique, constructs a decision tree policy by mimicking the DRL agent. Decision trees are interpretable as each action made can be traced back to the decision rule path that lead to it. However, one global decision tree approximating the DRL policy has significant limitations with respect to the geometry of decision boundaries. We propose MoET, a more expressive, yet still interpretable model based on Mixture of Experts, consisting of a gating function that partitions the state space, and multiple decision tree experts that specialize on different partitions. We propose a training procedure to support non-differentiable decision tree experts and integrate it into imitation learning procedure of Viper. We evaluate our algorithm on four OpenAI gym environments, and show that the policy constructed in such a way is more performant and better mimics the DRL agent by lowering mispredictions and increasing the reward. We also show that MoET policies are amenable for verification using off-the-shelf automated theorem provers such as Z3.

연구 동기 및 목표

• 안전 중심 응용 분야에서의 사용을 제한하는 딥 강화학습(DRL) 정책의 해석 가능성 부족 문제를 해결한다.
• 비선형 결정 경계를 가진 복잡한 DRL 정책을 근사화할 때 전역 결정 트리의 기하학적 한계를 극복한다.
• 높은 성능을 유지하면서도 형식적 검증이 가능한 확장 가능한 해석 가능한 모델을 개발한다.
• 기울기 기반 최적화를 요구하지 않고도 비가역적 결정 트리 전문가를 종합적인 암시 학습 프레임워크에 통합한다.
• Z3와 같은 표준 틀림없는 정리 증명기 도구를 사용하여 학습된 정책의 안전성 및 정확성 성질을 검증할 수 있도록 한다.

제안 방법

• 게이팅 함수를 사용하여 상태 공간을 각각 전문화된 결정 트리 전문가에 할당된 영역으로 분할한다.
• 비가역적 전문가를 지원하는 암시 학습 절차를 통해 게이팅 네트워크와 결정 트리 전문가를 함께 훈련한다.
• 훈련 중에 결정 트리 구성 요소를 통해 역전파를 가능하게 하기 위해 미분 가능한 완화 기법을 적용한다.
• 결정 트리의 구조를 활용하여 각 액션에 대한 인간이 읽을 수 있는 결정 규칙을 생성함으로써 해석 가능성을 향상시킨다.
• 최종 MoET 정책을 Z3와 같은 형식적 검증 도구와 통합하여 안전성 성질과 논리적 제약 조건을 확인한다.
• 개별 결정 트리의 경로 기반 결정 논리 구조를 유지함으로써 정책의 해석 가능성을 보존한다.

실험 결과

연구 질문

• RQ1 전문가 트리의 혼합 아키텍처가 단일 전역 결정 트리보다 암시 학습의 정밀도를 향상시킬 수 있는가?
• RQ2 MoET 프레임워크는 성능을 유지하면서도 정책 행동의 형식적 검증을 가능하게 하는가?
• RQ3 비가역적 결정 트리 전문가가 종단 간 암시 학습 파이프라인 내에서 효과적으로 훈련될 수 있는가?
• RQ4 기준 환경에서 MoET는 전역 결정 트리와 비교해 잘못 예측 비율과 누적 보상 측면에서 어떻게 성과를 내는가?
• RQ5 Z3와 같은 표준 틀림없는 정리 증명기는 MoET 정책의 성질을 어느 정도 검증할 수 있는가?

주요 결과

• MoET는 네 개의 OpenAI Gym 환경에서 DRL 정책을 모방할 때 전역 결정 트리보다 낮은 잘못 예측 비율을 달성한다.
• 평가 기간 동안 MoET 정책는 누적 보상 측면에서 전역 결정 트리 베이스라인을 일관되게 능가한다.
• 특화된 결정 트리 전문가의 사용 덕분에 MoET는 상태 공간 내 복잡한 비선형 결정 경계를 더 잘 포착할 수 있다.
• Z3 정리 증명기를 사용하여 MoET 정책가 성공적으로 검증되었으며, 형식적 검증 워크플로우와의 호환성을 입증했다.
• 다양한 완화 전략을 통해 비가역적 결정 트리 구성 요소를 효과적으로 처리하는 훈련 절차가 구현되었다.
• MoET의 해석 가능성은 유지되었으며, 각 액션 예측이 명확하고 인간이 읽을 수 있는 결정 규칙 경로로 추적 가능하다.