[논문 리뷰] A Deep Reinforcement Learning based Approach to Learning Transferable Proof Guidance Strategies.

Maxwell Crouse, Spencer Whitehead외 9명|arXiv (Cornell University)|2019. 11. 05.

Logic, programming, and type systems참고 문헌 35인용 수 9

한 줄 요약

TRAIL은 문장과 추론 행동을 사용하여 증명기 상태를 표현하고, 새로운 주목 메커니즘을 통해 문장 간 상호작용을 모델링함으로써 일阶논리 정리 증명을 위한 이식 가능한 증명 가이던스 전략을 깊이 강화학습을 통해 학습하는 시스템이다. 이는 수동 히ュ리스틱 기반 증명기와 유사한 성능을 달성하면서도 다양한 어휘를 가진 도메인 간 일반화를 가능하게 한다.

ABSTRACT

Traditional first-order logic (FOL) reasoning systems usually rely on manual heuristics for proof guidance. We propose TRAIL: a system that learns to perform proof guidance using reinforcement learning. A key design principle of our system is that it is general enough to allow transfer to problems in different domains that do not share the same vocabulary of the training set. To do so, we developed a novel representation of the internal state of a prover in terms of clauses and inference actions. We also propose a novel neural-based attention mechanism to learn interactions between clauses. We demonstrate that this approach enables the system to generalize from training to test data across domains with different vocabularies, suggesting that the neural architecture in TRAIL is well suited for representing and processing of logical formalisms. We also show that TRAIL's learned strategies provide a comparable performance to an established heuristics-based theorem prover.

연구 동기 및 목표

• 다른 어휘를 가진 도메인 간 일반화가 가능한 일阶논리를 위한 증명 가이던스 시스템을 개발하는 것.
• 일阶논리 추론에서 수동 히ュ리스틱을 데이터 기반으로 학습된 전략으로 대체하는 것.
• 논리 형식을 효과적으로 표현하고 처리할 수 있는 신경망 아키텍처를 설계하는 것.
• 학습 도메인 외부의 다른 어휘를 가진 도메인으로 증명 전략을 이식할 수 있도록 하는 것.
• 기존의 히ュ리스틱 기반 정리 증명기 수준의 성능을 입증하는 것.

제안 방법

• TRAIL은 증명기의 내부 상태를 문장과 추론 행동으로 표현하여 신경망의 입력으로 사용한다.
• 논리 문장 간 상호작용을 모델링하기 위해 새로운 신경 주목 메커니즘을 적용한다.
• 심층 강화학습을 사용하여 상태 표현 기반으로 추론 행동을 선택하는 정책을 학습한다.
• 아키텍처는 학습 데이터와 다른 어휘를 가진 도메인으로의 이식이 가능하도록 일반화 설계되어 있다.
• 정책 학습은 증명 완료 성공률을 최적화하는 방식으로 강화학습을 통해 수행된다.
• 전략 학습을 도메인 특화 어휘에서 분리함으로써 도메인 간 이식 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 시스템은 다른 어휘를 가진 도메인 간 일반화가 가능한 증명 가이던스 전략을 학습할 수 있는가?
• RQ2 학습된 전략은 기존의 히ュ리스틱 기반 증명기와 비교해 얼마나 잘 성능을 내는가?
• RQ3 신경망 아키텍처는 증명 맥락에서 논리 문장 간 상호작용을 효과적으로 모델링할 수 있는가?
• RQ4 주목 메커니즘이 원시 문장 표현에 비해 추론 성능을 얼마나 향상시키는가?
• RQ5 학습 중에 볼 수 없었던 도메인에서 시스템은 여전히 성능을 유지하는가?

주요 결과

• TRAIL은 학습 데이터에 포함되지 않은 어휘를 가진 테스트 도메인으로 효과적으로 일반화되어, 학습된 전략의 이식 가능성을 입증한다.
• 시스템은 기존의 히ュ리스틱 기반 정리 증명기와 유사한 증명 성능을 달성한다.
• 주목 메커니즘은 문장 간 상호작용을 효과적으로 모델링하여 다양한 논리 형식에 걸쳐 강건한 추론을 가능하게 한다.
• 신경망 아키텍처는 논리 형식을 성공적으로 표현하고 처리하여 도메인 간 전이 학습을 지원한다.
• 수동으로 설계된 히ュ리스틱에 대한 의존도를 줄이면서도 경쟁 가능한 성능을 유지한다.
• 결과는 학습된 전략이 특정 어휘에 종속되지 않으며, 광범위한 적용 가능성을 시사한다.