[논문 리뷰] Learning Symbolic Rules for Interpretable Deep Reinforcement Learning

Zhihao Ma, Yuzheng Zhuang외 5명|arXiv (Cornell University)|2021. 03. 15.

Reinforcement Learning in Robotics참고 문헌 34인용 수 8

한 줄 요약

이 논문은 신경망 주의 메커니즘과 일阶 논리 추론을 통합하여 해석 가능한 딥 강화 학습을 가능하게 하는 Neural Symbolic Reinforcement Learning (NSRL) 프레임워크를 제안한다. 다양한 경로를 통한 미분 가능한 다단계 추론을 통해 기호적 규칙을 학습함으로써, NSRL은 Montezuma’s Revenge나 Blocks World와 같은 복잡한 환경에서 경쟁력 있는 성능을 달성하면서도 인간이 읽을 수 있는 논리적 규칙을 추출하여 이전의 신경-기호 방법들보다 뛰어난 해석 가능성과 확장성 확보한다.

ABSTRACT

Recent progress in deep reinforcement learning (DRL) can be largely attributed to the use of neural networks. However, this black-box approach fails to explain the learned policy in a human understandable way. To address this challenge and improve the transparency, we propose a Neural Symbolic Reinforcement Learning framework by introducing symbolic logic into DRL. This framework features a fertilization of reasoning and learning modules, enabling end-to-end learning with prior symbolic knowledge. Moreover, interpretability is achieved by extracting the logical rules learned by the reasoning module in a symbolic rule space. The experimental results show that our framework has better interpretability, along with competing performance in comparison to state-of-the-art approaches.

연구 동기 및 목표

• 딥 강화 학습(DRL)의 해석 가능성 부족 문제를 정책 학습 과정에 기호 논리 구조를 통합함으로써 해결하고자 한다.
• 전문가가 설계한 규칙나 오라클 전이 모델에 의존하는 것을 줄이고, 사전 지식을 통합한 엔드 투 엔드 학습을 가능하게 하고자 한다.
• 기존의 미분 가능한 인덕티브 논리 프로그래밍(ILP) 방법들에 비해 확장성과 메모리 효율성을 향상시키고자 한다.
• 행동 선택에 사용된 가장 관련성이 높은 논리적 규칙을 추출하고 시각화함으로써 내재된 해석 가능성을 제공하고자 한다.
• 신경-기호 추론이 Montezuma’s Revenge와 같은 복잡하고 고차원적인 환경에서 경쟁력 있는 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 기호적 상태 간의 관계 추론을 수행하기 위해 다단계 주의 메커니즘 기반의 신경-논리 추론 모듈을 도입한다.
• 주목적 기반의 전방 체인 추론을 주목적 메커니즘을 통해 미분 가능하게 구현하여 일阶 논리(FOL) 규칙을 엔드 투 엔드 방식으로 학습하고 추론한다.
• 추론 경로를 따라 주목적 가중치를 이용해 규칙 신뢰도를 추정함으로써 고신뢰도 기호적 규칙 추출을 가능하게 한다.
• 계층적 강화 학습(HRL)을 적용하여 작업을 분해함으로써 고수준 정책이 기호적으로 추론하고 저수준 정책이 환경과 상호작용하도록 한다.
• 행렬 곱셈 기법을 활용해 관계 경로를 효율적으로 계산함으로써 기존의 미분 가능한 ILP 대비 확장성을 향상시킨다.
• 주목적 가중치가 부여된 경로에서 해석 가능한 체인 구조의 기호적 규칙을 추출하여 행동 선택에 대한 인간이 읽을 수 있는 설명을 제공한다.

실험 결과

연구 질문

• RQ1 신경-기호 프레임워크는 딥 강화 학습에서 높은 성능와 내재된 해석 가능성을 동시에 달성할 수 있는가?
• RQ2 수동으로 설계된 규칙 템플릿이나 오라클 모델에 의존하지 않고 기호적 추론을 딥 RL에 통합할 수 있는가?
• RQ3 기존의 ILP 기반 접근법에 비해, 미분 가능한 신경-기호 RL 프레임워크의 확장성과 메모리 효율성은 어떠한가?
• RQ4 주목적 기반 추론이 원시 상태 표현에서 의미 있는 인간이 읽을 수 있는 기호적 규칙을 얼마나 잘 추출할 수 있는가?
• RQ5 이러한 프레임워크는 Montezuma’s Revenge와 같은 복잡하고 고차원적인 환경을 해석 가능성 유지 조건에서 해결할 수 있는가?

주요 결과

• NSRL은 Montezuma’s Revenge와 Blocks World에서 최첨단 NLRL 방법에 비해 수익률 차이가 0.008 이내로 경쟁력 있는 성능을 달성한다.
• NSRL은 NLRL 대비 메모리 사용량을 2.7배 줄이고 추론 시간을 4.5배 감소시켜 뛰어난 확장성을 입증한다.
• 주목적 가중치가 부여된 추론 경로에서 'Move(X,Y) ← GoalOn(X,Y)' 및 'Move(man,door) ← WithObject(man,key) ∧ KeyToDoor(key,door)'와 같은 해석 가능한 일阶 논리(FOL) 규칙을 성공적으로 추출한다.
• Blocks World 환경에서 NSRL은 높은 주목적 신뢰도를 보이는 다섯 가지의 구체적 기호적 규칙을 학습하여 상태 조건과 행동을 직접 연결한다.
• MLP와 NLM 에이전트에 비해 NSRL은 성능과 해석 가능성 모두에서 뛰어나며, 이는 이러한 모델들이 기호적 규칙을 추출하거나 설명할 수 없기 때문이다.
• 주목적 메커니즘이 가장 관련성이 높은 관계 경로를 효과적으로 식별하며, 이를 인간이 이해할 수 있는 의미를 지닌 논리적 규칙으로 해석한다.