[논문 리뷰] Incorporating Relational Background Knowledge into Reinforcement Learning via Differentiable Inductive Logic Programming

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|2020. 03. 23.

Reinforcement Learning in Robotics참고 문헌 17인용 수 9

한 줄 요약

이 논문은 관계적 배경 지식을 딥 러닝 강화 학습(DRL)에 통합하여 경사 하강 최적화를 통한 엔드 투 엔드 훈련을 가능하게 하는 미분 가능한 인도적 논리 프로그래밍(dNL-ILP) 프레임워크를 제안한다. 시각적 입력에서 얻은 CNN를 통해 환경를 일阶논리 술어로 표현함으로써 학습 속도를 향상시키고 일반화 성능을 향상시켜, 기존 A2C 대비 700 에피소드 만에 GridWorld에서 수렴하고 Sort-of-CLEVR에서 99% 정확도를 달성한다.

ABSTRACT

Relational Reinforcement Learning (RRL) can offers various desirable features. Most importantly, it allows for incorporating expert knowledge into the learning, and hence leading to much faster learning and better generalization compared to the standard deep reinforcement learning. However, most of the existing RRL approaches are either incapable of incorporating expert background knowledge (e.g., in the form of explicit predicate language) or are not able to learn directly from non-relational data such as image. In this paper, we propose a novel deep RRL based on a differentiable Inductive Logic Programming (ILP) that can effectively learn relational information from image and present the state of the environment as first order logic predicates. Additionally, it can take the expert background knowledge and incorporate it into the learning problem using appropriate predicates. The differentiable ILP allows an end to end optimization of the entire framework for learning the policy in RRL. We show the efficacy of this novel RRL framework using environments such as BoxWorld, GridWorld as well as relational reasoning for the Sort-of-CLEVR dataset.

연구 동기 및 목표

• 전통적인 관계적 강화 학습이 복잡한 시각적 입력을 처리하고 딥 러닝과 통합하는 데 한계가 있음을 해결한다.
• 딥 러닝과 인도적 논리 프로그래밍을 융합하여 관계적 강화 학습에서 엔드 투 엔드의 미분 가능한 최적화를 가능하게 한다.
• 전문가가 제공한 배경 지식(예: isItem, locked 등의 술어)을 통합하여 정책 학습을 안내하고 샘플 효율성을 향상시킨다.
• 시각 데이터로부터의 관계적 추론이 미분 가능한 논리 엔진을 통해 효과적으로 학습될 수 있음을 입증한다.

제안 방법

• 미분 가능한 신경-논리 네트워크(dNL-ILP)를 사용하여 경사 하강에 적합한 방식으로 논리적 추론을 계산하는 미분 가능한 추론 엔진으로 활용한다.
• CNN 처리된 이미지에서 유도된 일阶논리 술어(예: color(X,Y,C), isAgent(X,Y), isItem(X,Y))를 사용하여 환경 상태를 표현한다.
• 도메인 특화의 인도적 편향을 코딩하기 위해 수동으로 제작된 술어(예: isItem(X,Y) ← ¬isBackground(X,Y), ¬isAgent(X,Y))를 통해 전문가의 배경 지식을 통합한다.
• 미분 가능한 ILP 엔진을 통해 역전파되는 경사 하강을 이용하여 정책 그래디언트 방법(예: A2C)을 사용해 전체 RRL 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 상태 표현이 관계적이며 동작이 객체 위치 기반인 BoxWorld 및 GridWorld와 같은 환경에 프레임워크를 적용한다.
• isCircle(X,Y) 등의 술어를 학습하고 논리적 질의에 사용함으로써, 관계적 추론 작업(예: Sort-of-CLEVR)으로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 관계적 강화 학습이 시각적 입력을 처리하고 이미지에서 학습할 수 있도록 딥 러닝과 효과적으로 통합될 수 있는가?
• RQ2 논리 술어 형태의 전문가 제공 배경 지식이 강화 학습 환경에서 학습 속도를 크게 향상시킬 수 있는가?
• RQ3 미분 가능한 ILP 엔진이 표준 경사 기반 최적화를 사용해 관계적 정책의 엔드 투 엔드 훈련을 가능하게 하는가?
• RQ4 관계적 인도적 편향을 통합할 경우 복잡한 환경에서 샘플 효율성과 일반화 성능에 어떤 영향을 미치는가?
• RQ5 비관계적 어텐션 기반 모델에 비해 이 프레임워크가 Sort-of-CLEVR와 같은 관계적 추론 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 RRL 프레임워크는 비분기적인 GridWorld 작업에서 700 에피소드 만에 수렴하였고, 기존 A2C는 10⁸ 에피소드가 넘도록 수렴하지 못했다.
• 행동 가설에 isItem(X,Y) 술어를 포함시킴으로써 필요한 훈련 에피소드 수가 4배 감소하여, 인도적 편향이 샘플 효율성에 미치는 영향을 입증했다.
• Sort-of-CLEVR 관계적 추론 벤치마크에서 99%의 정확도를 달성하여, Santoro 등(2017)의 비국소 어텐션 기반 방법의 94% 정확도를 초월했다.
• 논리 술어를 통한 전문가 배경 지식 통합은 특히 보상이 희박한 환경에서 더 빠르고 안정적인 학습을 가능하게 했다.
• 미분 가능한 ILP 엔진은 논리적 추론을 거쳐 전체 정책 학습 파이프라인에 대한 역전파를 가능하게 하여 표준 딥 러닝 강화 학습 최적화기로 전체 파이프라인을 훈련시킬 수 있게 했다.
• 프레임워크는 원시 이미지 입력을 구조화된 관계적 표현(예: color(X,Y,C), isCircle(X,Y))으로 성공적으로 변환하여 시각적 장면에서의 논리적 추론을 가능하게 했다.