[논문 리뷰] Premise selection with neural networks and distributed representation of features

Andrzej Kucik, Konstantin Korovin|arXiv (Cornell University)|2018. 07. 26.

Topic Modeling참고 문헌 12인용 수 6

한 줄 요약

이 논문은 신경망 기반 차원 축소를 통해 기능 서명의 분산 표현을 사용하여 자동 정리 증명에서 새로운 전제 선택 방법을 제안한다. 희박하고 고차원적인 함수자 서명을 512차원의 밀집 임베딩으로 변환함으로써, 단순한 두 층의 전방향 신경망이 전제 선택에서 76.45%의 정확도를 달성하게 되어 기존의 희박한 표현 방식에 비해 효율성과 성능이 크게 향상된다.

ABSTRACT

We present the problem of selecting relevant premises for a proof of a given statement. When stated as a binary classification task for pairs (conjecture, axiom), it can be efficiently solved using artificial neural networks. The key difference between our advance to solve this problem and previous approaches is the use of just functional signatures of premises. To further improve the performance of the model, we use dimensionality reduction technique, to replace long and sparse signature vectors with their compact and dense embedded versions. These are obtained by firstly defining the concept of a context for each functor symbol, and then training a simple neural network to predict the distribution of other functor symbols in the context of this functor. After training the network, the output of its hidden layer is used to construct a lower dimensional embedding of a functional signature (for each premise) with a distributed representation of features. This allows us to use 512-dimensional embeddings for conjecture-axiom pairs, containing enough information about the original statements to reach the accuracy of 76.45% in premise selection task, only with simple two-layer densely connected neural networks.

연구 동기 및 목표

• 전건에 관련된 공리들을 선택하는 것이 핵심이지만 계산적으로 비용이 많이 드는 자동 정리 증명에서 전제 선택의 과제를 해결하기 위해.
• 논리 공식의 전통적인 희박한 표현 방식(예: one-hot 또는 단어 수준 인코딩)에서 발생하는 차원의 저주 문제를 극복하기 위해.
• 신경망을 사용하여 기능 서명의 조밀하고 저차원의 분산 표현을 학습함으로써 모델의 효율성과 정확도를 향상시키기 위해.
• 전체 논리적 구조 없이도 기능 서명만으로도 고정확도의 전제 선택을 지원할 수 있는지 입증하기 위해.
• 고차원 입력을 압축된 임베딩으로 대체함으로써 경량의 완전 연결 네트워크를 사용해 더 빠른 추론을 가능하게 하기 위해.

제안 방법

• 논리 공식에서 기능자 기호만을 유지하고 그 발생 빈도를 세어 일阶 논리 공식에서 기능 서명을 추출한다.
• 각 서명을 13,217차원의 one-hot 벡터로 표현한 후, 맥락적으로 관련된 기능자를 예측하도록 훈련된 신경망을 통해 차원 축소를 수행한다.
• 맥락 내에서 주변 기능자 기호를 예측하기 위해 얕은 신경망을 훈련하고, 은닉층 출력을 512차원의 조밀한 임베딩으로 사용한다.
• 이러한 학습된 임베딩을 두 층의 완전 연결 신경망의 입력 특징으로 사용하여 전건-공리 쌍이 관련이 있는지 여부를 분류한다.
• 과적합을 줄이고 일반화 능력을 향상시키기 위해 훈련 중에 max-pooling과 dropout을 적용한다.
• Mizar40 및 DeepMath 데이터셋에서 유의미한(유용한) 522,528개의 양성(긍정) 및 부정성(중복된) 전건-공리 쌍으로 구성된 균형 잡힌 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 전체 논리적 구조 없이도 기능 서명만으로도 자동 정리 증명에서 고정확도의 전제 선택을 지원할 수 있는가?
• RQ2 신경망 기반 맥락 모델링을 통한 차원 축소가 압축되고 정보가 풍부한 임베딩을 생성하여 희박한 표현 방식을 능가할 수 있는가?
• RQ3 학습된 조밀한 임베딩을 입력으로 사용할 때, 단순한 두 층의 전방향 신경망이 더 깊거나 복잡한 아키텍처에 비해 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 부정 예시의 선택이 모델 성능에 어느 정도 영향을 미치는가? 특히 부정 예시가 실제로 관련이 없는 것이 아닐 경우에 대해.
• RQ5 기호의 구문적 또는 논리적 맥락 없이도 기능자 기호의 분산 표현이 의미적 또는 구조적 관계를 충분히 포착할 수 있는가?

주요 결과

• 제안된 방법은 기능 서명의 512차원 분산 임베딩만을 사용하여 전제 선택에서 76.45%의 정확도를 달성했다.
• 이전의 희박한 표현 방식(예: 문자 수준 또는 단어 수준)을 사용한 접근 방식보다 성능이 뛰어나면서도 훨씬 단순한 신경망 아키텍처를 사용했다.
• 맥락 인식 신경망 훈련을 통한 차원 축소가 입력 차원을 크게 줄였지만 예측 능력은 유지했다.
• 최종 훈련 단계에서 낮은 거짓 음성 비율(11.0%)을 보였으며, 이는 관련 전제에 대한 강한 재현 능력을 의미한다.
• 기능자 기호의 순서가 임의일 수 있기 때문에 완전 연결 네트워크가 컨볼루션 또는 순환 아키텍처보다 성능이 뛰어났다.
• 기능 서명만으로도 명시적인 논리 연산자나 양화자 없이도 효과적인 전제 선택을 위한 충분한 정보를 포함하고 있음을 입증했다.