[논문 리뷰] Towards Proof Synthesis Guided by Neural Machine Translation for Intuitionistic Propositional Logic

Taro Sekiyama, Akifumi Imanishi외 1명|arXiv (Cornell University)|2017. 06. 20.

Natural Language Processing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 순차적-순차적(sequ2seq) 모델을 사용해 문장 토큰을 증명 항목(λ-항목)으로 번역하도록 훈련시켜 직관적 명제논리의 증명 생성을 신경 기계 번역 문제로 재정의함으로써, 새로운 증명 합성 방법을 제안한다. 하이퍼파라미터 튜닝 없이도 모델은 트리 편집 거리 측정 기준으로 정확한 증명에 매우 가까운 증명을 생성하며, 이는 빠른 유도 증명 탐색을 가능하게 하여 브루트 포스 방법을 능가한다.

ABSTRACT

Inspired by the recent evolution of deep neural networks (DNNs) in machine learning, we explore their application to PL-related topics. This paper is the first step towards this goal; we propose a proof-synthesis method for the negation-free propositional logic in which we use a DNN to obtain a guide of proof search. The idea is to view the proof-synthesis problem as a translation from a proposition to its proof. We train seq2seq, which is a popular network in neural machine translation, so that it generates a proof encoded as a $λ$-term of a given proposition. We implement the whole framework and empirically observe that a generated proof term is close to a correct proof in terms of the tree edit distance of AST. This observation justifies using the output from a trained seq2seq model as a guide for proof search.

연구 동기 및 목표

• 딥 네ural 네트워크(DNN)를 사용해 직관적 명제논리에서의 자동 정리 증명의 가능성을 탐색한다.
• 일반적으로 확률적이고 근사적인 DNN와 증명이 완전히 정확해야 하는 형식적 논리 문제 사이의 격차를 메운다.
• 기본적인 seq2seq 모델이 직관적 명제논리에서 의미적·구조적으로 정확한 증명에 가까운 증명 항목 후보를 생성할 수 있는지 평가한다.
• DNN가 생성한 출력을 탐색 가이드로 사용해 브루트 포스 탐색보다 효율적인 증명 합성 파이프라인을 설계한다.
• 특히 Curry–Howard 이庵에 기반해, DNN 기반 증명 합성의 기초 기준을 설정한다.

제안 방법

• 논리 연결자에 인fix 표기법과 λ-계산법 문법을 사용해 명제와 증명 항목을 토큰 시퀀스로 표현한다.
• 명제-증명 쌍 데이터셋을 사용해, 명제 토큰 시퀀스를 증명 항목 토큰 시퀀스로 매핑하는 순차적-순차적(seq2seq) 신경망을 훈련시킨다.
• 모델 출력의 문법 오류를 보정하기 위해 Myers의 알고리즘을 적용하여, 유효한 파싱 트리와의 트리 편집 거리를 최소화한다.
• 보정된 파싱 트리를 기반으로 DNN 출력과 점점 더 가까운 트리 편집 거리 순서로 후보 증명 항목을 열거한다.
• Haskell(GHCi)에서 타입 체크를 통해 후보 증명 항목을 검증하며, Curry–Howard 이庵을 활용해 정확성을 확인한다.
• 목적은 구조적으로 타당한 후보를 우선순위로 정렬하기 위해 트리 편집 거리 기반의 비용 함수를 사용하는 것이다.

실험 결과

연구 질문

• RQ1 사전 훈련된 seq2seq 모델이 직감적 명제논리에서 정확한 증명에 구조적으로 가까운 증명 항목 후보를 생성할 수 있는가?
• RQ2 브루트 포스 열거에 비해 DNN가 생성한 출력이 증명 합성의 탐색 공간을 어느 정도 줄이는가?
• RQ3 트리 편집 거리 측정법이 잘못된 증명 항목이 정확한 것과 얼마나 가까운지 측정하는 데 얼마나 효과적인가?
• RQ4 DNN 기반 가이드가 형식 논리 시스템 내 자동 증명 탐색의 효율성을 크게 향상시킬 수 있는가?
• RQ5 비튜닝된 DNN를 사용할 때 증명 합성에 어떤 한계가 있으며, 이를 후처리 및 유도 탐색을 통해 어떻게 보완할 수 있는가?

주요 결과

• 훈련된 seq2seq 모델은 하이퍼파라미터 튜닝 없이도 벤치마크 문제의 거의 절반에서 정확한 증명을 생성했다.
• 잘못된 증명 항목 출력은 트리 편집 거리 측정 기준으로 자주 정확한 증명에 가까웠으며, 이는 이 측정법이 탐색 가이드로 사용될 수 있음을 검증한다.
• 유도 증명 탐색 절차는 후보의 구조적 타당성을 우선순위로 정렬함으로써, 효율성 면에서 브루트 포스 탐색을 크게 능가했다.
• Myers의 알고리즘을 통한 후처리가 DNN 출력의 문법 오류를 성공적으로 수정하여 유효한 추상 구문 트리로의 파싱을 가능케 했다.
• 비최적화된 DNN라도 형식 논리 내 증명 합성에 유용하고 고품질의 초기 추측을 생성할 수 있음을 입증했다.
• 이 방법은 DNN 기반 증명 합성에 대해 실현 가능한 기초 기준을 설정하며, 신경 번역이 자동 정리 증명에서 강력한 히우리스틱이 될 수 있음을 시사한다.