[논문 리뷰] Reinforcement Learning with External Knowledge by using Logical Neural Networks

Daiki Kimura, Subhajit Chaudhury외 5명|arXiv (Cornell University)|2021. 03. 03.

Reinforcement Learning in Robotics참고 문헌 8인용 수 8

한 줄 요약

이 논문은 외부 지식을 미분 가능한 논리 신경망(LNNs)을 통해 통합하는 강화학습 프레임워크를 제안하여 학습을 가속화하고 안전성을 향상시킨다. 훈련 가능한 규칙로 논리적 제약 조건을 표현함으로써, 행동 차단(비유효 행동 금지)과 행동 안내(최적 행동 추천)를 가능하게 하여, 외부 제약 조건이 없는 모델-프리 RL보다 빠른 수렴을 달성한다.

ABSTRACT

Conventional deep reinforcement learning methods are sample-inefficient and usually require a large number of training trials before convergence. Since such methods operate on an unconstrained action set, they can lead to useless actions. A recent neuro-symbolic framework called the Logical Neural Networks (LNNs) can simultaneously provide key-properties of both neural networks and symbolic logic. The LNNs functions as an end-to-end differentiable network that minimizes a novel contradiction loss to learn interpretable rules. In this paper, we utilize LNNs to define an inference graph using basic logical operations, such as AND and NOT, for faster convergence in reinforcement learning. Specifically, we propose an integrated method that enables model-free reinforcement learning from external knowledge sources in an LNNs-based logical constrained framework such as action shielding and guide. Our results empirically demonstrate that our method converges faster compared to a model-free reinforcement learning method that doesn't have such logical constraints.

연구 동기 및 목표

• 모델-프리 강화학습의 샘플 비효율성을 외부 해석 가능한 지식을 통합하여 해결하고자 한다.
• 논리 규칙을 사용한 행동 공간 제약으로 훈련 시도 횟수를 줄이고자 한다.
• 미분 가능한 프레임워크를 통해 심층 강화학습과 논리적 추론을 통합하여 학습 속도와 안전성을 향상시키고자 한다.
• LNN을 통해 제공되는 해석 가능한 훈련 가능한 논리적 제약 조건의 효과를 평가하고자 한다.
• LNN 기반 강화학습에서 행동 차단과 행동 안내 메커니즘의 성능 향상을 비교하고자 한다.

제안 방법

• 이 방법은 논리 신경망(LNNs)을 사용하여 AND, NOT, IMPLY 연산과 같은 미분 가능한 논리 규칙으로 외부 지식을 표현한다.
• 행동 차단은 강화학습이 생성한 행동과 논리적 제약 조건 간의 모순을 탐지하여 구현되며, 예를 들어 이미 방문한 방을 재방문하는 것을 방지한다.
• 행동 안내는 진리값 기반 점수 함수를 사용해 행동 확률을 계산하며, 이는 모순 손실을 할인한다: $ v(a,s_t) = \frac{lower_{a,s_t} + upper_{a,s_t}}{2} - ctrd(a,s_t) $.
• 최종 행동은 DQN 기반 정책의 Q-값과 LNN이 제공하는 행동 확률을 조합한 에psilon-greedy 전략을 통해 선택된다.
• LNN은 논리적 일관성을 최소화하면서도 해석 가능성을 유지하기 위해 모순 손실을 사용해 엔드 투 엔드로 훈련된다.
• 의미 해석은 자연어 환경 기술서에서 논리적 상태 문장(예: '서쪽 방을 발견함')을 추출한다.

실험 결과

연구 질문

• RQ1 LNN에 인코딩된 외부 논리 지식이 모델-프리 강화학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 논리적 제약 조건을 통한 행동 차단이 수렴 속도와 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 LNN이 제공하는 확률을 사용한 행동 안내가 차단만으로도 더 빠른 수렴을 이끌 수 있는가?
• RQ4 LNN 규칙의 해석 가능성은 학습된 제약 조건의 검증 및 보완에 어떻게 기여하는가?
• RQ5 LNN 기반 논리적 제약 조건은 텍스트 기반 게임과 같은 복잡하고 부분 관측 가능한 환경에서 비제약 강화학습을 능가할 수 있는가?

주요 결과

• LNNs-Shielding는 이미 탐색한 방을 재방문하는 등의 무의미한 행동을 방지하여 베이스라인 대비 수렴을 향상시켰다.
• LNNs-Guide는 베이스라인과 LNNs-Shielding보다 유의미하게 더 빠른 수렴을 달성했으며, 이는 긍정적인 행동 추천 덕분이었다.
• 보상 곡선 분석 결과, LNNs-Guide는 평균 보상이 더 높고 표준편차가 낮아 더 안정적인 학습을 보였다.
• 이 방법은 LNN을 통한 논리적 제약 통합으로 최적 성능에 도달하기 위한 훈련 에피소드 수를 줄일 수 있음을 입증했다.
• LNN 규칙의 해석 가능성 덕분에 논리적 일관성 검증이 가능했으며, 규칙 설정 오류를 탐지하고 수정하는 데 기여했다.
• 결과적으로 LNN이 심층 강화학습과 상징적 추론을 결합해 더 안전하고 빠르며 효율적인 학습을 가능하게 한다는 점이 확인되었다.