[논문 리뷰] Language Modeling for Formal Mathematics

Markus N. Rabe, Dennis Lee외 2명|arXiv (Cornell University)|2020. 06. 08.

Natural Language Processing Techniques참고 문헌 1인용 수 3

한 줄 요약

이 논문은 인공지능 모델의 논리적 추론 능력을 향상시키기 위해 공식 수학적 문장에 대한 새로운 스킵트리 언어 모델링 작업을 제안한다. 이 접근법이 타입 추론 및 등식 완성과 같은 추론 작업에서 표준 언어 모델링보다 뛰어난 성능을 보이며, 동시에 훈련 데이터 외부의 새로운 유용한 추측을 생성할 수 있음을 입증한다.

ABSTRACT

We examine whether language modeling applied to mathematical formulas enables logical reasoning. We suggest several logical reasoning tasks that can be used to evaluate language models trained on formal mathematical statements, such as type inference, suggesting missing assumptions and completing equalities. To train language models for formal mathematics, we propose a novel skip-tree task, which outperforms standard language modeling tasks on our reasoning benchmarks. We also analyze the models' ability to formulate new conjectures by measuring how often the predictions that do not fit the ground truth or any training data turn out to be true and useful statements.

연구 동기 및 목표

• 공식 수학 공식에 기반한 언어 모델링이 인공지능 모델에서 논리적 추론을 가능하게 하는지 조사하기.
• 타입 추론, 누락된 가정 제안, 등식 완성과 같은 새로운 추론 작업을 설계하고 평가하기.
• 공식 수학 추론 벤치마크에서 성능을 향상시키는 새로운 스킵트리 학습 목표를 제안하기.
• 모델이 훈련 데이터 외부에서 새로운 유용한 수학적 추측을 생성할 수 있는 능력을 평가하기.
• 참고값 또는 훈련 데이터와 다를 경우 예측의 유용성 분석하기.

제안 방법

• 수식 트리의 중간 노드를 건너뛰어 수학적 표현을 예측하도록 훈련하는 스킵트리 작업을 도입하기.
• 논리적 정확성을 보장하기 위해 증명 보조 도구에서 유래한 공식 수학적 문장을 훈련 데이터로 사용하기.
• 추론 평가 작업 설계: 타입 추론, 누락된 가정 제안, 등식 완성.
• 비교를 위해 표준 언어 모델링과 제안된 스킵트리 목표를 모두 사용해 모델 훈련하기.
• 외부 데이터에서의 예측이 수학적으로 타당하고 유용한지 확인함으로써 추측의 질 측정하기.
• 모델의 성능을 추론 벤치마크에서 평가하고, 스킵트리와 표준 언어 모델링 간 비교하기.

실험 결과

연구 질문

• RQ1 공식 수학 공식에 기반한 언어 모델이 타입 추론과 같은 논리적 추론 작업을 수행할 수 있는가?
• RQ2 제안된 스킵트리 학습 목표가 공식 수학 추론 작업에서 표준 언어 모델링을 초월하는가?
• RQ3 모델이 예측을 통해 얼마나 많은 새로운 진실이면서도 유용한 수학적 추측을 생성할 수 있는가?
• RQ4 참고값 또는 훈련 데이터와 다른 예측이 얼마나 자주 수학적으로 타당한 문장으로 나타나는가?
• RQ5 학습 목표 설계가 공식 수학에서의 추론 능력에 어떤 영향을 미치는가?

주요 결과

• 스킵트리 학습 목표는 모든 공식 수학 추론 벤치마크에서 표준 언어 모델링보다 뚜렷이 뛰어난 성능을 보였다.
• 스킵트리 목표로 훈련된 모델은 타입 추론, 누락된 가정 제안, 등식 완성에서 성능 향상을 보였다.
• 참고값 또는 훈련 데이터에서 벗어난 예측의 상당 부분이 수학적으로 타당하고 유용한 추측으로 확인되었다.
• 새로운 추측을 생성할 수 있는 능력은 모델이 공식 수학의 더 깊은 구조적 패턴을 파악하고 있음을 시사한다.
• 결과는 스킵트리 학습이 공식 수학 추론에서 추론 정확도와 창의적 발견 능력을 모두 향상시킨다는 것을 나타낸다.
• 연구는 특정 작업에 맞는 학습 목표와 함께 공식 수식에 기반한 언어 모델링이 논리적 추론을 지원할 수 있음을 확인한다.