[논문 리뷰] Neural Logic Reinforcement Learning

Zhengyao Jiang, Shan Luo|arXiv (Cornell University)|2019. 04. 24.

Reinforcement Learning in Robotics참고 문헌 29인용 수 14

한 줄 요약

이 논문은 기계학습에서 해석 가능하고 일반화 가능한 정책을 학습하기 위해 미분 가능한 인도크티브 논리 프로그래밍(DILP)과 정책 기반 강화학습 방법을 결합한 새로운 프레임워크인 신경 논리 강화학습(NLRL)을 제안한다. NLRL은 정책을 일阶 논리 규칙으로 표현하여 블록 조작 및 계곡 산책 작업에서 near-optimal 성능를 달성하면서도 인간이 이해할 수 있고 논리적으로 구조화된 의사결정을 가능하게 하며, 환경의 변화에 대해 강력한 일반화 성능를 보인다.

ABSTRACT

Deep reinforcement learning (DRL) has achieved significant breakthroughs in various tasks. However, most DRL algorithms suffer a problem of generalizing the learned policy which makes the learning performance largely affected even by minor modifications of the training environment. Except that, the use of deep neural networks makes the learned policies hard to be interpretable. To address these two challenges, we propose a novel algorithm named Neural Logic Reinforcement Learning (NLRL) to represent the policies in reinforcement learning by first-order logic. NLRL is based on policy gradient methods and differentiable inductive logic programming that have demonstrated significant advantages in terms of interpretability and generalisability in supervised tasks. Extensive experiments conducted on cliff-walking and blocks manipulation tasks demonstrate that NLRL can induce interpretable policies achieving near-optimal performance while demonstrating good generalisability to environments of different initial states and problem sizes.

연구 동기 및 목표

• 딥 강화학습(DRL) 정책의 해석 가능성과 일반화 능력 부족 문제를 해결하기 위해.
• 일阶 논리 표현을 사용하여 순차적 의사결정 과제에서 정책 학습을 가능하게 하기 위해.
• 확장 가능한 해석 가능한 정책 유도를 위해 미분 가능한 인도크티브 논리 프로그래밍(DILP)을 활용하기 위해.
• 환경의 동역학을 사전에 알지 못해도 초기 상태와 문제 크기의 변화에 대해 정책의 일반화 성능를 향상시키기 위해.
• DILP를 지도 학습을 넘어서 강화학습 영역으로 확장하여 의사결정 과정에서 비지도 개념 발견을 가능하게 하기 위해.

제안 방법

• NLRL은 정책 기반 강화학습과 미분 가능한 인도크티브 논리 프로그래밍(DILP)을 통합하여 정책을 일阶 논리 규칙으로 학습한다.
• 프레임워크는 미분 가능한 논리 네트워크를 사용하여 기계적 학습 기반의 경로 최적화를 통해 논리 규칙을 종단 간(end-to-end)으로 표현하고 최적화한다.
• 정책은 move, up, right와 같은 행동 결정에 도달하기 위해 구성되는 발명된 술어(pred1, pred2 등)의 계층적 구조로 표현된다.
• 모델은 정책 기반 강화학습 목적함수를 사용하여 학습되며, 정책은 논리 규칙로 매개변수화되고 DILP 모듈을 통해 미분 가능하다.
• 시스템은 상태 공간의 관계적 구조를 포착하는 보조 술어를 유도함으로써 추상적이고 해석 가능한 추론을 가능하게 한다.
• 최종 행동 정책는 유도된 규칙에 대해 전방 추론(forward-chaining inference)을 수행함으로써 도출되며, 각 규칙에 신뢰도 점수가 부여된다.

실험 결과

연구 질문

• RQ1 일阶 논리 규칙가 딥 강화학습에서 해석 가능한 정책를 효과적으로 표현하고 학습하는 데에 적합한가?
• RQ2 DILP 기반 정책가 다양한 초기 상태와 문제 크기에서 RL 환경에서 일반화 가능한가?
• RQ3 DILP와 정책 기반 강화학습을 융합하면 near-optimal이면서도 인간이 이해할 수 있는 정책를 도출할 수 있는가?
• RQ4 복잡한 순차적 과제에서 NLRL의 해석 가능성과 일반화 능력이 기존 DRL 모델에 비해 어떻게 비교되는가?
• RQ5 사전에 인간이 제공한 개념 없이도 NLRL이 유용한 관계적 추상화(예: 최상단 블록, 바닥에 부착된 블록)를 발견할 수 있는가?

주요 결과

• NLRL은 블록 조작 및 계곡 산책 과제에서 near-optimal 성능를 달성하였으며, 인간이 이해할 수 있고 논리적으로 구조화된 정책를 학습하였다.
• STACK 과제에서 에이전트는 move(X,Y) ← pred3(Y), pred4(X,Y)와 같은 규칙를 유도하였으며, 이 중 pred3는 최소 두 개 이상의 블록으로 이루어진 기둥에서 최상단 블록을 식별한다.
• 계곡 산책 과제의 유도된 정책에는 up() ← current(X,Y), zero(Y)와 같은 규칙이 포함되어 있었으며, 이는 하단 행에서의 상향 이동을 정확히 식별하였다.
• 불필요한 하향 이동 등의 부분적인 최적화되지 않은 행동이 있었지만, 정책는 논리적으로 일관되며 해석 가능했으며, 신뢰도 점수를 통해 규칙의 신뢰성을 평가할 수 있었다.
• 프레임워크는 다양한 초기 위치와 문제 크기에서도 뛰어난 일반화 성능를 유지하였으며, 최적 정책가 완벽하게 유도되지 않았더라도 성능를 유지하였다.
• 시스템은 인간의 레이블 없이도 비지도 규칙 유도를 통해 추상적 관계 개념(예: 바닥에 부착된 블록, 최상단 블록 등)을 성공적으로 발견하였다.