[논문 리뷰] First Experiments with Neural Translation of Informal to Formal Mathematics

Qingxiang Wang, Cezary Kaliszyk외 1명|arXiv (Cornell University)|2018. 05. 10.

Mathematics, Computing, and Information Processing참고 문헌 16인용 수 9

한 줄 요약

이 논문은 비공식적인 LaTeX로 작성된 수학적 문장을 공식적인 Mizar 언어로 자동 변환하는 데 있어 신경 기계 번역(NMT)의 첫 응용을 제시한다. 947,231개의 합성된 비공식-공식 쌍으로 훈련된 Luong 등의 seq2seq NMT 모델을 사용하여, 최고의 설정에서 테스트 데이터에서 65.73%의 정확한 번역 정확도를 달성하였으며, 이는 수학의 자동 형식화 분야에서 강력한 잠재력을 보여준다.

ABSTRACT

We report on our experiments to train deep neural networks that automatically translate informalized LaTeX-written Mizar texts into the formal Mizar language. To the best of our knowledge, this is the first time when neural networks have been adopted in the formalization of mathematics. Using Luong et al.'s neural machine translation model (NMT), we tested our aligned informal-formal corpora against various hyperparameters and evaluated their results. Our experiments show that our best performing model configurations are able to generate correct Mizar statements on 65.73\% of the inference data, with the union of all models covering 79.17\%. These results indicate that formalization through artificial neural network is a promising approach for automated formalization of mathematics. We present several case studies to illustrate our results.

연구 동기 및 목표

• 비공식적인 수학적 텍스트를 공식적이고 기계로 검증 가능한 Mizar 증명으로 자동 변환하기 위해 심층 신경망을 사용할 수 있는지 탐색하기 위해.
• Mizar에서 LaTeX로의 비공식화를 통해 역으로 생성된 합성 훈련 데이터를 활용하여 대규모로 정렬된 비공식-공식 수학 코퍼스의 부족을 해결하기 위해.
• 최신 기술의 신경 기계 번역 모델이 자연어 수학과 공식 증명 언어 사이의 복잡한 문법적 및 의미적 맵핑을 학습할 수 있는지 평가하기 위해.
• 신경망이 수학 및 과학 분야에서 자동 형식화를 위한 확장 가능한 솔루션으로서의 잠재력을 어떻게 가질 수 있는지 평가하기 위해.

제안 방법

• 어텐션 메커니즘을 갖춘 인코더-디코더 아키텍처 기반의 Luong 등의 신경 기계 번역(NMT) 프레임워크를 사용하였다.
• 공식 수학 저널 'Formalized Mathematics'에서 사용하는 표준 Mizar-to-LaTeX 번역을 뒤집어, Mizar-LaTeX 쌍 947,231개로 구성된 대규모 합성 코퍼스를 사전 처리하였다.
• 양방향 LSTM 인코더와 포인터-게이터 디코더를 사용한 seq2seq 모델을 빔 서치 추론 방식으로 훈련시켰다.
• 다양한 설정에서 히든 유닛 수, 어휘 크기, 임bedding 차원 수 등 하이퍼파라미터를 최적화하였다.
• 골드 스탠다드 공식 Mizar 문장과의 비교를 통해 BLEU 점수, 퍼플렉서티, 정확한 매칭 비율을 사용해 모델 성능을 평가하였다.
• 번역 품질과 다양한 수학 분야에서의 일반화 능력을 평가하기 위해 아블레이션 연구와 케이스 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 모델은 높은 정확도로 비공식적인 LaTeX 수학 문장을 공식적인 Mizar 문법으로 매핑할 수 있는가?
• RQ2 히든 유닛 수, 어텐션 메커니즘 등 다양한 하이퍼파라미터에 따라 모델 성능은 어떻게 변화하는가?
• RQ3 학습 기간 동안 볼 수 없었던 새로운 수학적 문장에 대해 신경 모델은 어느 정도 일반화할 수 있는가?
• RQ4 문법적으로 다를지라도 번역 결과가 목표 공식 문장과 의미적으로 동일한가?
• RQ5 신경 번역 기법은 단일 문장 이상의 전체 수학 증명과 더 큰 코퍼스로 확장될 수 있는가?

주요 결과

• 최고의 성능을 보인 모델 설정에서 105,247개의 검증 쌍에 대해 65.73%의 정확한 매칭 비율을 기록하여, 형식화 작업에서 강력한 일반화 능력을 보였다.
• 여러 모델 설정의 예측 결과를 결합한 결과, 정확한 번역을 포함한 테스트 케이스의 79.17%를 커버하였으며, 이는 앙상블 모델이 강건성을 향상시킨다는 것을 시사한다.
• 모델은 추론 과정에서 괄호의 정확한 매칭 및 식별자 레이블링과 같은 복잡한 구조적 패턴을 성공적으로 학습하였다.
• 불완전한 번역으로 분류된 경우에도 의미적으로 정확한 경우가 많아, ATP 시스템을 통한 의미적 동치성 평가 가능성을 시사한다.
• Mizar에서 LaTeX로의 번역도 의미 있는 결과를 도출하였으며(동일한 문장 비율 51.61%), 하지만 반대 방향보다 품질이 낮았다.
• 케이스 스터디를 통해 훈련 에포크가 진행될수록 번역 품질이 점진적으로 향상되었으며, 모델이 비공식적인 LaTeX 입력에서 정확한 공식 문법을 생성하는 법을 학습하는 것을 확인하였다.