[論文レビュー] Growing the Digital Repository of Mathematical Formulae with Generic LaTeX Sources

Howard S. Cohl, Moritz Schubotz+5 more|arXiv (Cornell University)|May 6, 2015

Mathematics, Computing, and Information Processing参考文献 11被引用数 4

ひとこと要約

本論文では、KLSおよびKLSaddの書籍から得られる汎用的なLaTeX数式ソースを、自動的に文脈に依存しない意味的メタデータ（記号、置換、制約など）を推論することで意味的に豊かにする手法を提示する。このアプローチにより、高品質なコンテンツMathMLを備えた標準化された機械可読の数式ホームページの作成が可能となり、記号リストの完全性は98.6%に達し、将来のコンピュータ代数システムとの統合が可能になる。

ABSTRACT

One initial goal for the DRMF is to seed our digital compendium with fundamental orthogonal polynomial formulae. We had used the data from the NIST Digital Library of Mathematical Functions (DLMF) as initial seed for our DRMF project. The DLMF input LaTeX source already contains some semantic information encoded using a highly customized set of semantic LaTeX macros. Those macros could be converted to content MathML using LaTeXML. During that conversion the semantics were translated to an implicit DLMF content dictionary. This year, we have developed a semantic enrichment process whose goal is to infer semantic information from generic LaTeX sources. The generated context-free semantic information is used to build DRMF formula home pages for each individual formula. We demonstrate this process using selected chapters from the book "Hypergeometric Orthogonal Polynomials and their $q$-Analogues" (2010) by Koekoek, Lesky and Swarttouw (KLS) as well as an actively maintained addendum to this book by Koornwinder (KLSadd). The generic input KLS and KLSadd LaTeX sources describe the printed representation of the formulae, but does not contain explicit semantic information. See http://drmf.wmflabs.org.

研究の動機と目的

• 意味的マークアップを明示的に含まない汎用的なLaTeXソースを、豊富で機械処理可能な数式ホームページに変換するスケーラブルなパイプラインの開発。
• 意味的検索、ハイパーリンク、コンピュータ代数システムとの統合を支援する、数学的数式のデジタルリポジトリ（DRMF）の構築を可能にする。
• 意味的マークアップを欠如させたLaTeXから信頼性の高いコンテンツMathMLを生成するという長年の課題を克服するため、自動的意味的豊か化技術を導入する。
• 特に置換や制約などの数式メタデータに関して、意味的豊か化の品質を評価するための評価指標とゴールドスタンダードを確立する。
• 印刷書籍、OCR処理済み画像、Wolfram言語コードといった多様なソースを、統一されたマクロ置換およびメタデータ抽出パイプラインを通じてDRMFに統合する拡張。

提案手法

• 意味的マクロを明示的に含まないプレゼンテーションレベルのマークアップのみを含むKLSおよびKLSadd書籍の汎用的LaTeXソースを解析する。
• ルールベースおよび機械学習技術を用いて、LaTeXテキストから記号、置換、制約、数式名などの意味的情報を検出し、推論する。
• DLMFおよびDRMF固有の意味的マクロをLaTeXソースに自動挿入し、数学的意味を符号化することで、後続のコンテンツMathML生成を可能にする。
• 一貫性と正確性を保証するため、プレーンなLaTeXを意味的に豊かにしたLaTeXに変換するカスタムマクロ置換システムを活用する。
• 標準化されたテンプレートとハイパーリンクフレームワークを用いて、記号リスト、証明、参照などを含む構造化されたメタデータを備えた数式ホームページを生成する。
• LATEXMLやsTeXといった既存ツールを活用し、マクロ定義およびコンテンツMathML変換をサポートすることで、現代の数学的Web標準と互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 意味的マークアップを明示的に含まない汎用的なLaTeXソースから、記号、置換、制約といった意味的情報を自動的に推論する方法は何か？
• RQ2 ルールベースおよび機械学習的手法は、意味的マークアップを欠如させたLaTeXにおける数学的数式メタデータの検出および豊か化にどの程度効果的か？
• RQ3 豊かにされたLaTeXソースから自動生成されたコンテンツMathMLは、手作業で整備されたコンテンツMathMLと比べて、品質および一貫性の面でどの程度の水準に達するか？
• RQ4 印刷書籍、OCR出力、計算コードといった多様なソースを統合するためのスケーラブルで保守可能なパイプラインをどのように設計できるか？
• RQ5 特に置換や制約に関して、意味的豊か化の正確性および完全性を評価するための評価指標をどのように開発できるか？

主な発見

• 意味的豊か化パイプラインは、KLSおよびKLSaddデータセットから1,219の数式ホームページを生成し、そのうち98.6%が空でない記号リストを含んでいた。
• 208件の置換が、元々別個の数式として提示されていたものが、自動的に検出され、515件の数式に挿入され、メタデータの完全性が顕著に向上した。
• 本手法により、高品質なコンテンツMathMLが生成され、数学的情報検索分野における長年の課題を解決し、機械可読でスケーラブルかつ検索可能な数学的コンテンツの実現を可能にした。
• 豊かにされたLaTeXをMathematica、Maple、Sageで使用される形式と互換性のある形式に変換することで、将来のコンピュータ代数システムとの統合が可能になる。
• 制約および証明の検出、マクロ置換に関してゴールドスタンダードを確立したため、今後の数学的テキスト処理におけるNLPおよび機械学習手法の評価が可能になる。
• パイプラインは拡張可能であり、すでにOCR処理済みの書籍画像（BMP）およびWolfram eCFデータセットといった追加のソースに適用されており、Wolfram言語と意味的LaTeXの間で双方向変換を行う開発が継続して進められている。