[논문 리뷰] Differentiable Logic Machines

Matthieu Zimmer, Xuening Feng외 7명|arXiv (Cornell University)|2021. 02. 23.

Reinforcement Learning in Robotics참고 문헌 32인용 수 9

한 줄 요약

이 논문은 다양한 조건에서 기반으로 하는 기계적 논리 프로그램을 학습할 수 있는 새로운 신경-논리 아키텍처인 Differentiable Logic Machine(DLM)을 소개한다. DLM는 규칙이 아닌 술어의 미분 가능한 완화를 통해 해석 가능한 일阶 논리 프로그램을 학습한다. 지도학습 및 강화학습 환경에서 기울기 기반 학습이 가능하게 하며, 고유한 크리틱 아키텍처와 점진적 학습 기법을 도입함으로써 인덕티브 논리 프로그래밍과 강화학습 분야에서 최고 성능을 달성하고 있으며, 이전 방법들보다 메모리 사용량과 추론 시간 면에서 더 나은 확장성을 보인다.

ABSTRACT

The integration of reasoning, learning, and decision-making is key to build more general artificial intelligence systems. As a step in this direction, we propose a novel neural-logic architecture, called differentiable logic machine (DLM), that can solve both inductive logic programming (ILP) and reinforcement learning (RL) problems, where the solution can be interpreted as a first-order logic program. Our proposition includes several innovations. Firstly, our architecture defines a restricted but expressive continuous relaxation of the space of first-order logic programs by assigning weights to predicates instead of rules, in contrast to most previous neural-logic approaches. Secondly, with this differentiable architecture, we propose several (supervised and RL) training procedures, based on gradient descent, which can recover a fully-interpretable solution (i.e., logic formula). Thirdly, to accelerate RL training, we also design a novel critic architecture that enables actor-critic algorithms. Fourthly, to solve hard problems, we propose an incremental training procedure that can learn a logic program progressively. Compared to state-of-the-art (SOTA) differentiable ILP methods, DLM successfully solves all the considered ILP problems with a higher percentage of successful seeds (up to 3.5$ imes$). On RL problems, without requiring an interpretable solution, DLM outperforms other non-interpretable neural-logic RL approaches in terms of rewards (up to 3.9%). When enforcing interpretability, DLM can solve harder RL problems (e.g., Sorting, Path) Moreover, we show that deep logic programs can be learned via incremental supervised training. In addition to this excellent performance, DLM can scale well in terms of memory and computational time, especially during the testing phase where it can deal with much more constants ($>$2$ imes$) than SOTA.

연구 동기 및 목표

• 논리적 추론과 학습에서 해석 가능성, 성능, 확장성의 균형을 이루는 신경-논리 아키텍처를 설계하기.
• 기존의 미분 가능한 ILP 및 RL 방법들이 해석 가능성이나 확장성의 손실을 빚는 문제점을 해결하기.
• 지도학습 및 강화학습 환경에서 기울기 하강법을 사용해 완전히 해석 가능한 논리 프로그램의 엔드 투 엔드 학습을 가능하게 하기.
• 신규 크리틱 아키텍처와 점진적 학습 기법을 통해 복잡한 과제에서 강화학습 학습 효율을 향상시키기.
• 특히 상수의 수가 많은 문제에서 추론 시 모델의 효과적인 확장성을 보장하기.

제안 방법

• 규칙 대신 술어에 학습 가능한 연속적 가중치를 할당하여 일阶 논리 프로그램 공간의 연속적 완화를 가능하게 한다.
• 온도 감소를 적용한 Gumbel-Softmax 샘플링을 사용해 논리 규칙을 미분 가능한 방식으로 샘플링하면서도 미분 가능성 유지.
• 액터-크리틱 강화학습 학습을 가속화하기 위해 고유한 크리틱 아키텍처를 도입하여 샘플 효율 향상.
• 점진적 학습 절차를 도입하여 논리 프로그램을 점진적으로 학습함으로써 어려운 문제에 대한 확장성 향상.
• 학습 후 argmax 추론을 적용하여 연속적 가중치에서 완전히 해석 가능한 논리 공식을 추출.
• 테스트 중에 학습된 논리 프로그램을 압축된 표현 방식으로 사용하여 메모리 및 계산 비용 감소.

실험 결과

연구 질문

• RQ1 미분 가능한 신경-논리 모델이 복잡한 추론 과제 전반에서 잘 일반화되는 완전히 해석 가능한 논리 프로그램을 학습할 수 있는가?
• RQ2 DLM 아키텍처는 기존의 미분 가능한 ILP 및 RL 방법들과 비교해 성공률, 학습 속도, 추론 효율성 측면에서 어떻게 다른가?
• RQ3 술어의 연속적 완화를 통한 해석 가능성 강제가 확장성과 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 크리틱 아키텍처는 신경-기호 모델에서 강화학습 학습을 상당히 가속화할 수 있는가?
• RQ5 점진적 학습은 Path 및 Blocksworld와 같은 어려운 논리 문제를 해결하는 데 모델의 능력을 향상시키는가?

주요 결과

• DLM는 Family Tree 및 Graph Reasoning 과제에서 99.8%의 성공률를 기록했으며, 95%의 시드가 성공적으로 해석 가능한 규칙을 학습했다.
• 인덕티브 논리 프로그래밍 분야에서 DLM는 최고 성능을 내는 다른 미분 가능한 ILP 방법들보다 최대 3.5배 높은 성공률를 기록했다.
• 강화학습 과제에서 DLM는 해석 불가능한 신경-논리 기반 모델보다 최대 3.9% 높은 보상을 달성했으며, Path 및 Blocksworld와 같은 더 어려운 과제를 해결했다.
• 추론 과정에서 DLM는 기준 모델들보다 더 나은 확장성을 보였으며, 상수의 수를 두 배 이상 처리했고, 메모리 사용량과 계산 시간을 크게 줄였다.
• 제거 실험 결과, Gumbel 노이즈, 온도 감소, 드롭아웃이 모델이 해석 가능한 규칙을 학습하는 데 기여하는 것으로 확인되었다.
• 제안된 크리틱 아키텍처는 액터-크리틱 RL 학습을 가속화했으며, DLM와 NLM 모두 평가된 환경에서 더 빠른 수렴을 보였다.