[논문 리뷰] MathBERT: A Pre-Trained Model for Mathematical Formula Understanding

Shuai Peng, Ke Yuan외 2명|arXiv (Cornell University)|2021. 05. 02.

Mathematics, Computing, and Information Processing참고 문헌 25인용 수 53

한 줄 요약

MathBERT는 수학 공식, 그 맥락, 및 연산자 트리를 공동으로 사전 학습하여 의미적 및 구조적 정보를 포착하고, 여러 수학 관련 작업에서 최첨단 성과를 달성합니다.

ABSTRACT

Large-scale pre-trained models like BERT, have obtained a great success in various Natural Language Processing (NLP) tasks, while it is still a challenge to adapt them to the math-related tasks. Current pre-trained models neglect the structural features and the semantic correspondence between formula and its context. To address these issues, we propose a novel pre-trained model, namely extbf{MathBERT}, which is jointly trained with mathematical formulas and their corresponding contexts. In addition, in order to further capture the semantic-level structural features of formulas, a new pre-training task is designed to predict the masked formula substructures extracted from the Operator Tree (OPT), which is the semantic structural representation of formulas. We conduct various experiments on three downstream tasks to evaluate the performance of MathBERT, including mathematical information retrieval, formula topic classification and formula headline generation. Experimental results demonstrate that MathBERT significantly outperforms existing methods on all those three tasks. Moreover, we qualitatively show that this pre-trained model effectively captures the semantic-level structural information of formulas. To the best of our knowledge, MathBERT is the first pre-trained model for mathematical formula understanding.

연구 동기 및 목표

• Plain text를 넘어서 수학 공식의 맥락과 구조를 활용하여 이해를 촉진한다.
• 공식, 맥락, 그리고 Operator Trees (OPTs)를 공동으로 사용하는 통합 사전 학습 프레임워크를 제안한다.
• 의미 수준의 공식 구조를 인코딩하기 위한 새로운 Masked Substructure Prediction 태스크를 설계한다.
• 사전 학습을 위한 arXiv 기반의 수식-맥락-OPT 삼중항 대규모 데이터셋을 구축한다.
• 다운스트림 수학 작업에서 베이스라인보다 향상을 시연하고 의미 구조 포착에 대한 정성적 분석을 제공한다.

제안 방법

• 입력은 LaTeX 토큰(수식), 텍스트 맥락, 그리고 Operator Tree(OPT)로 구성된다.
• OPT 기반 마스크로 시 의미 수준의 구조를 인코딩하기 위해 Transformer 주의(attention)가 안내된다.
• 세 가지 사전 학습 태스크: Masked Language Modeling (MLM), Context Correspon­dence Prediction (CCP), 및 Masked Substructure Prediction (MSP).
• MSP는 마스킹된 연산자 부분 구조를 사용하여 OPT 내에서 부모/자식을 예측한다.
• 사전 학습 데이터: 8.7 million 수식-맥락-OPT 삼중항 arXiv LaTeX 소스에서 수집; BERT-base에서 초기화; 최대 시퀀스 길이 256.
• 세 가지 다운스트림 작업에서 평가: 수학 정보 검색, 수식 주제 분류, 및 수식 헤드라인 생성

실험 결과

연구 질문

• RQ1 공식, 맥락, 및 연산자 트리를 공동으로 사용하는 사전 학습 모델이 수학 표현의 이해를 향상시킬 수 있는가?
• RQ2 구조 인식을 반영하는 사전 학습 태스크(MSP)가 수학 관련 작업에서 MLM 및 CCP를 넘어 이점을 제공하는가?
• RQ3 MathBERT가 MIR, 주제 분류 및 헤드라인 생성을 기준선과 비교하여 어떤 성능을 보이는가?
• RQ4 OPT 정보를 반영한 주의가 수식의 의미 포착을 얼마나 향상시키는가?

주요 결과

• MathBERT는 NTCIR-12 MathIR에서 부분점수 및 조화 평균 bpref가 베이스라인 대비 가장 높게 나타났다.
• TopicMath-100K에서 MathBERT는 사전 학습 없이만들어진 모델과 일반적인 BERT를 능가했고, 특히 수식+맥락 입력에서 더 우수한 성능을 보였다.
• 수식 헤드라인 생성에서 MathBERT 기반 융합이 베이스라인 대비 ROUGE/BLEU/METEOR 점수에서 우수한 성능을 보였다.
• 특성 제거(ablations) 결과 OPT와 맥락의 기여도가 작업에 따라 다르게 나타났으며, OPT는 IR을, 맥 context는 주제 분류를 향상시키는 경향이 있다.
• 정성적 분석을 통해 MathBERT가 외관을 넘어서 의미 수준의 구조적 유사성을 포착함을 보였다.