[論文レビュー] Making math searchable in Wikipedia

Moritz Schubotz|arXiv (Cornell University)|Jan 1, 2012

Mathematics, Computing, and Information Processing参考文献 6被引用数 3

ひとこと要約

本稿では、LaTeXMLを介してLaTeX数式を意味的Content-MathMLに変換し、MathWebSearchでインデックス化し、Luceneと統合して全本文検索を実現する、Wikipediaにおけるテキストと数式の統合検索を可能にするMathSearchというシステムを提示する。主な貢献は、数式検索とテキスト検索を統合することで精度を著しく向上させるオープンソースのプラグインを実装したことであり、不適切な結果を削減するとともに、意味的マッチングにより数学的に同等の表現の発見を可能にする。

ABSTRACT

Wikipedia, the world largest encyclopedia contains a lot of knowledge that is expressed as formulae exclusively. Unfortunately, this knowledge is currently not fully accessible by intelligent information retrieval systems. This immense body of knowledge is hidden form value-added services, such as search. In this paper, we present our MathSearch implementation for Wikipedia that enables users to perform a combined text and fully unlock the potential benefits.

研究の動機と目的

• 知的情報検索システムがWikipediaにおける数式のアクセシビリティに欠けている問題に対処すること。
• 表記の違いにより数学的に同等の表現を検索できないという、テキスト中心の検索エンジンの限界を克服すること。
• Wikipediaにおけるテキストと意味的数式コンテンツの両方をインデックス化するスケーラブルでオープンソースのソリューションを開発すること。
• 意味的数式検索と全本文検索を組み合わせることで、検索精度を向上させるという可能性と有効性を実証すること。
• 研究発見、特許検索、技術コンサルティングなどの価値向上サービスを可能にする数学に配慮した検索を実現すること。

提案手法

• MediaWikiにおける従来のtexvc画像ベースのLaTeXレンダリングを、意味的Content-MathMLとプレゼンテーションMathMLを出力するリモートなLaTeXMLデーモンに置き換える。
• 生成されたContent-MathMLを中央データベースに保存し、サーバーサイド処理とインデキシングに使用する。
• 数学的に同等の表現を表記に依存せずにマッチングするための意味的統一（semantic unification）を用いるMathWebSearchエンジンを統合する。
• MathWebSearchの検索結果とLuceneベースの全本文検索結果を、結果の積集合と階層的表示によって統合する。
• 変数抽象化（例：?x）を可能にするプレースホルダーを備えた、テキストと数式の両方のクエリ入力フィールドを備えたフロントエンドを設計する。
• 仮想マシンを用いて標準のラップトップでシステムをデプロイし、10,000件のドキュメントを含むarXivコロナを用いてリアルタイム性能を実証した。

実験結果

リサーチクエスチョン

• RQ1 テキストと数式の統合検索システムは、Wikipediaにおける数学的クエリの検索精度を著しく向上させることができるか？
• RQ2 意味的Content-MathMLは、異なる表記法間での数学的に同等の表現の発見をどの程度向上させるか？
• RQ3 意味的数式検索エンジン（MathWebSearch）と従来の全本文検索エンジン（Lucene）を統合することで、不適切な結果をどの程度削減できるか？
• RQ4 スケーラブルでオープンソースのプラグインを実装し、MediaWikiプラットフォーム上で数学に配慮した検索を可能にすることができるか？
• RQ5 人間による評価がなされたリアルタイムのクエリに対して、本システムは既存の数学検索システムと比較してどの程度の性能を示すか？

主な発見

• クエリ 'Gröbner, a?x² + b?y² + ?z' に対して、MathSearchは不適切な結果をたった1件にまで削減したのに対し、WebMIaSでは455件であった。これにより、優れた精度が実証された。
• クエリ 'Bp+n = Bn + Bn+1 mod p for all n = 0, 1, 2, ...' に対して、MathSearchとWebMIaSの両方が正しく結果を1位に返した。これは、コア検索機能において同等の性能を有することを確認した。
• 標準のラップトップと仮想マシンを用いたデプロイにより、リアルタイムでの性能が実証され、高価なインfraを必要としないことを示した。
• LaTeXMLを介した意味的Content-MathMLの使用により、表記のばらつきに起因する問題を克服し、正確な数学的同等性の検出が可能になった。
• MathWebSearchとLuceneの間で結果の積集合を用いた統合により、意味的数式マッチングの強みと高精度なテキスト検索の強みを効果的に組み合わせた。
• オープンソースの実装は公開されており、他のコンテンツプロバイダーおよび研究者による採用と拡張が可能である。