[論文レビュー] MathBERT: A Pre-Trained Model for Mathematical Formula Understanding

Shuai Peng, Ke Yuan+2 more|arXiv (Cornell University)|May 2, 2021

Mathematics, Computing, and Information Processing参考文献 25被引用数 53

ひとこと要約

MathBERTは数学的な式、文脈、および演算子ツリーを共同で事前学習し、意味的および構造的情報を捉え、複数の数学関連タスクで最先端の成果を達成します。

ABSTRACT

Large-scale pre-trained models like BERT, have obtained a great success in various Natural Language Processing (NLP) tasks, while it is still a challenge to adapt them to the math-related tasks. Current pre-trained models neglect the structural features and the semantic correspondence between formula and its context. To address these issues, we propose a novel pre-trained model, namely extbf{MathBERT}, which is jointly trained with mathematical formulas and their corresponding contexts. In addition, in order to further capture the semantic-level structural features of formulas, a new pre-training task is designed to predict the masked formula substructures extracted from the Operator Tree (OPT), which is the semantic structural representation of formulas. We conduct various experiments on three downstream tasks to evaluate the performance of MathBERT, including mathematical information retrieval, formula topic classification and formula headline generation. Experimental results demonstrate that MathBERT significantly outperforms existing methods on all those three tasks. Moreover, we qualitatively show that this pre-trained model effectively captures the semantic-level structural information of formulas. To the best of our knowledge, MathBERT is the first pre-trained model for mathematical formula understanding.

研究の動機と目的

• 文脈と式構造を活用して、プレーンテキストを超える数学式の理解を促進する。
• 式、文脈、およびOperator Trees (OPTs)を共同で用いる統一的な事前学習フレームワークを提案する。
• 意味レベルの式構造を符号化する新しいMasked Substructure Predictionタスクを設計する。
• 事前学習のための式-文脈-OPTの三重組データセットをarXivベースで構築する。
• 下流の数学タスクにおいてベースラインより改善を示し、意味構造の把握に関する定性的分析を提供する。

提案手法

• 入力はLaTeXトークン（式）、そのテキスト文脈、およびOperator Tree (OPT)で構成される。
• TransformerのアテンションはOPTベースのマスクによって指示され、意味レベルの構造を符号化する。
• 3つの事前学習タスク：Masked Language Modeling (MLM)、Context Correspondence Prediction (CCP)、および Masked Substructure Prediction (MSP)。
• MSPはマスクされた演算子の部分構造を用いてOPT内の親ノード／子ノードを予測する。
• 事前学習データ：arXivのLaTeXソースからの8.7百万のformula-context-OPT三重組；初期化はBERT-baseから；最大シーケンス長256。
• 3つの下流タスクで評価：数学情報検索、式のトピック分類、式見出し生成。

実験結果

リサーチクエスチョン

• RQ1 式、文脈、および演算子ツリーを共同で用いる事前学習モデルは、数学式の理解を向上させることができるか？
• RQ2 構造を意識した事前学習タスク（MSP）は、MLMおよびCCPを超える利点を数学関連タスクにもたらすか？
• RQ3 基準モデルと比較して、MIR、トピック分類、見出し生成におけるMathBERTの性能はどうか？
• RQ4 OPT情報を用いたアテンションは式の意味的な捉えをどの程度改善するか？

主な発見

Model	Partial	Full	H-Mean
MCAT	56.98	56.78	56.88
TangentS	58.72	63.61	61.07
Approach0	59.50	67.26	63.14
TangentCFT	71.34	59.63	64.96
BERT	70.53	58.33	63.85
MathBERT	73.61	61.35	66.92
MathAPP	76.07	71.61	73.77

• MathBERTはNTCIR-12 MathIRでベースラインを上回る部分と調和平均 bprefを達成。
• TopicMath-100Kでは、式+文脈入力を用いると、事前学習なしモデルおよび vanilla BERTを上回る。
• 式見出し生成では、MathBERTベースの融合がROUGE/BLEU/METEORスコアでベースラインより優れる。
• アブレーションは、タスクによってOPTと文脈の寄与が異なることを示す。IRを強化し、文脈はトピック分類を強化。
• 定性的分析は、MathBERTが外観を超えた意味レベルの構造的類似性を捉えることを示す。