[論文レビュー] TopicEq: A Joint Topic and Mathematical Equation Model for Scientific Texts

Michihiro Yasunaga, John Lafferty|arXiv (Cornell University)|Feb 16, 2019

Mathematics, Computing, and Information Processing参考文献 40被引用数 4

ひとこと要約

TopicEqは、共有潜在トピックを用いて科学的テキストと数学的式を生成する共同トピックおよび式モデルを提案する。式はトピック活性化ベクトルに条件付けられたRNNによって生成される。このモデルはベースラインのトピックおよび式モデルを著しく上回り、トピックに配慮した式生成や記号-語の対応付けといった新たな応用を可能にする。

ABSTRACT

Scientific documents rely on both mathematics and text to communicate ideas. Inspired by the topical correspondence between mathematical equations and word contexts observed in scientific texts, we propose a novel topic model that jointly generates mathematical equations and their surrounding text (TopicEq). Using an extension of the correlated topic model, the context is generated from a mixture of latent topics, and the equation is generated by an RNN that depends on the latent topic activations. To experiment with this model, we create a corpus of 400K equation-context pairs extracted from a range of scientific articles from arXiv, and fit the model using a variational autoencoder approach. Experimental results show that this joint model significantly outperforms existing topic models and equation models for scientific texts. Moreover, we qualitatively show that the model effectively captures the relationship between topics and mathematics, enabling novel applications such as topic-aware equation generation, equation topic inference, and topic-aware alignment of mathematical symbols and words.

研究の動機と目的

• 現在の手法が別々に扱うため、科学的テキストにおけるトピックと数学的式の共同モデリングのギャップを埋める。
• RNNを用いて式の文法的・意味的情報を統合することで、科学文書におけるトピックモデリングを改善する。
• 周囲のテキストおよびトピック構造からの文脈的語情報を利用することで、生成された数学的式の文法的整合性と関連性を向上させる。
• 数学的記号とその自然言語記述との間で解釈可能な、トピックに配慮した関連付けを実現する。
• 手動アノテーションなしで新たな応用をサポートする教師なしフレームワークを開発する。

提案手法

• 相関トピックモデルを拡張し、共有潜在トピック割合を用いてテキスト文脈と数学的式を同時に生成する。
• RNNを用いて、トピック活性化ベクトルに条件付けられたLaTeX記号の系列として式を生成する。
• 大規模なContextEq-400Kコーパス上で、変分オートエンコーダを用いたニューラル変分推論により、近似的な事後分布推論を実行する。
• トピック依存のアライメント行列をパラメータ化したトピックに配慮したアライメントモデルを導入し、記号-語の関連付けを学習する。
• 文脈依存の記号意味をモデル化するため、多層アライメント行列 $ A(\theta) = W_a \cdot \text{diag}(W_b\theta) \cdot W_c $ を採用する。
• arXivの論文から抽出した400Kの式-文脈ペairを用いて、正確なパースに適したLaTeXソースを用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 式をトークンの袋とみなすのではなく、トピックと式の共同モデリングにより、科学的テキストにおけるトピックモデリングの品質が向上するか？
• RQ2 文脈的テキストおよびトピック構造を組み込むことで、生成された数学的式の文法的整合性と関連性が向上するか？
• RQ3 数学的記号とその自然言語記述との間で、どの程度トピックに配慮した関連付けをモデルが学習できるか？
• RQ4 周辺モデルと比較して、共同モデルはパープレキシティおよび一貫性の観点でどの程度優れているか？
• RQ5 ラベルなしデータを用いて、トピックに配慮した式生成や記号意味の推論といった新たな応用をモデルがサポートできるか？

主な発見

• 共同TopicEqモデルは、トピック文脈を無視するベースラインアライメントモデルと比較して、テストパープレキシティを33％以上低減し、トピックに配慮した記号-語アライメントの価値を示している。
• 共同モデルのトピック一貫性スコアは、50トピックで0.088、100トピックで0.087を達成し、ベースライントピックモデル（0.085/0.084）と比較して中程度だが一貫した改善を示している。
• モデルは記号に文脈に適した意味を適切に学習している：例えば、$E$ は確率では「期待値」、量子力学では「電場」、グラフ理論では「辺」と関連付けられる。
• トピック文脈を無視するベースラインモデルでは、$E$ が全分野にわたり頻出するため「エネルギー」と主に関連づけられることが判明し、トピックに配慮したモデリングの利点が浮き彫りになった。
• トピックに配慮した式生成は実現可能かつ効果的であり、生成された式は関連するトピックの意味的・構文的パターンを反映している。
• モデルは教師なしで式のトピック推論と記号-語アライメントを可能にし、なじみのない数学的コンテンツに直面した読者にとって実用的な利便性を提供する。