[논문 리뷰] Mathematical Reasoning via Self-supervised Skip-tree Training

Markus N. Rabe, Dennis Lee외 2명|arXiv (Cornell University)|2020. 06. 08.

Topic Modeling참고 문헌 29인용 수 13

한 줄 요약

이 논문은 공식 수학적 표현에서 언어 모델을 위한 자기지도 스킵트리 훈련 방법을 제안하며, 표준 스킵시퀀스 접근 방식에 비해 논리적 추론 능력을 크게 향상시킨다. HOList 데이터셋으로 훈련된 모델들은 타입 추론, 가정 예측, 등식 완성 등의 작업에서 뛰어난 성능을 보이며, 미세조정 없이도 증명 가능하고 유용한 추측을 생성한다.

ABSTRACT

We examine whether self-supervised language modeling applied to mathematical formulas enables logical reasoning. We suggest several logical reasoning tasks that can be used to evaluate language models trained on formal mathematical statements, such as type inference, suggesting missing assumptions and completing equalities. To train language models for formal mathematics, we propose a novel skip-tree task. We find that models trained on the skip-tree task show surprisingly strong mathematical reasoning abilities, and outperform models trained on standard skip-sequence tasks. We also analyze the models' ability to formulate new conjectures by measuring how often the predictions are provable and useful in other proofs.

연구 동기 및 목표

• 공식 수학적 표현에서의 자기지도 언어 모델링이 레이블이 없는 데이터로도 강력한 논리적 추론 능력을 가능하게 하는지 조사하기 위해.
• 수학적 표현의 트리 구조를 존중하는 새로운 프록시 훈련 과제인 스킵트리(스킵트리)를 개발하기 위해.
• 미세조정 없이도 기계적 유도와 창의적 추측 생성을 포함한 다양한 추론 과제에서 언어 모델의 성능을 평가하기 위해.
• 기존 증명에서의 유용성과 증명 가능성 여부를 확인하여, 모델이 생성한 추측의 유용성을 객관적으로 측정하기 위해.

제안 방법

• 마스크된 부분 트리가 예측되는 스킵트리 과제를 제안하며, 공식 수학적 표현의 계층적 구조를 유지한다.
• HOL 라이트에서 포괄된 공식화된 수학을 담고 있는 HOList 데이터셋을 기반으로 트랜스포머 기반 언어 모델을 훈련한다.
• 모델이 선형 토큰 시퀀스가 아니라 누락된 부분 트리를 예측하도록 하는 마스크된 예측 목적 함수를 사용한다.
• 타입 추론, 누락된 가정 예측, 등식 완성과 같은 평가 과제를 설계하여 추론 능력을 테스트한다.
• 강화학습 기반 증명 검색에서 증명의 전제로 사용되는지 여부를 확인하여 추측의 품질을 평가한다.
• 너무 단순하거나 중복된 추측을 제거하기 위해 정제 단계를 적용하여 증명에서 필수적인 것들만 유지한다.

실험 결과

연구 질문

• RQ1 공식 수학적 표현에서의 자기지도 언어 모델링이 미세조정 없이도 강력한 논리적 추론 능력을 제공할 수 있는가?
• RQ2 표현의 구조를 존중하는 스킵트리 훈련 목표가 수학적 추론에서 표준 스킵시퀀스 과제보다 우수한 성능을 보일까?
• RQ3 언어 모델이 새로운, 증명 가능하고 유용한 수학적 추측을 어느 정도 생성할 수 있는가?
• RQ4 공식 증명의 맥락에서 모델이 생성한 추측의 유용성을 객관적으로 측정하는 방법은 무엇인가?

주요 결과

• 모든 추론 평가 과제에서 스킵트리 과제로 훈련된 모델이 스킵시퀀스 과제로 훈련된 모델보다 성능이 뛰어나다.
• 가정 예측 과제에서 모델이 생성한 문장 중 97.75%가 증명 가능했으며, 3,445개 중 3,857개가 DeepHOL 증명에서 전제로 사용되었다.
• 등식 완성 과제에서 3,440개의 예측 중 979개가 증명 가능하고 증명에서 유용하게 사용되었다.
• 자유형 추측 생성 과제에서 130개 예측 중 49개가 증명 가능하고 증명에서 사용되었으며, 이 중에는 정점 데이터베이스에 존재하지 않는 새로운 추측도 포함되었다.
• 기존에 누락된 정리($b = a + c \Rightarrow a = b - c$)를 발견하여 1,728개의 증명에서 사용되었으며, 실용적 유용성을 입증하였다.
• 일부 추측, 예를 들어 $\texttt{COUNTABLE}(\{s(n)\mid n\in\mathbb{N}\})$는 완전히 새로운 것으로, 인간이 애너테이션한 증명이나 정점 데이터베이스에 존재하지 않았다.