[论文解读] Making math searchable in Wikipedia

Moritz Schubotz|arXiv (Cornell University)|Jan 1, 2012

Mathematics, Computing, and Information Processing参考文献 6被引用 3

一句话总结

本文提出 MathSearch 系統，透過將 LaTeX 公式轉換為語意內容-MathML（使用 LaTeXML），並以 MathWebSearch 進行索引，再與 Lucene 整合以實現全文搜尋，進而實現維基百科中文字與公式結合的搜尋。主要貢獻在於開發了一款功能完整且開源的外掛程式，透過融合公式與文字搜尋，顯著提升精確度，減少不相關結果，並能透過語意匹配發現數學上等價的表達式。

ABSTRACT

Wikipedia, the world largest encyclopedia contains a lot of knowledge that is expressed as formulae exclusively. Unfortunately, this knowledge is currently not fully accessible by intelligent information retrieval systems. This immense body of knowledge is hidden form value-added services, such as search. In this paper, we present our MathSearch implementation for Wikipedia that enables users to perform a combined text and fully unlock the potential benefits.

研究动机与目标

• 解決智能資訊檢索系統在維基百科中難以存取數學公式之問題。
• 克服純文字搜尋引擎因符號表示差異，而無法檢索數學上等價表達式的限制。
• 開發可擴展且開源的解決方案，對維基百科中的文字與語意公式內容進行索引。
• 展示結合語意公式搜尋與全文搜尋，以提升檢索精確度之可行性與有效性。
• 透過數學感知搜尋，實現研究發現、專利搜尋與技術諮詢等增值服務。

提出的方法

• 以遠端 LaTeXML 守護程序取代 MediaWiki 傳統的 texvc 圖像式 LaTeX 渲染，輸出語意內容-MathML 與外觀 MathML。
• 將生成的內容-MathML 儲存在中央資料庫中，以供伺服器端處理與索引。
• 整合 MathWebSearch 引擎，該引擎使用語意統一技術，可於不論符號表示差異下匹配數學上等價的表達式。
• 透過結果交集與層次式呈現，將 MathWebSearch 的結果與基於 Lucene 的全文搜尋結果結合。
• 設計前端介面，提供文字與公式雙重輸入欄位，並使用占位符（例如 ?x）實現變數抽象化。
• 於標準筆電上使用虛擬機器部署系統，並以 10,000 範文獻的 ArXiv 資料集驗證實時性能。

实验结果

研究问题

• RQ1 結合文字與公式搜尋的系統是否能顯著提升維基百科中文數學查詢的檢索精確度？
• RQ2 語意內容-MathML 在多種符號表示下，能多大程度提升數學等價表達式的發現能力？
• RQ3 將語意公式搜尋引擎（MathWebSearch）與傳統全文搜尋引擎（Lucene）整合，能否有效減少不相關結果？
• RQ4 能否實現可擴展且開源的外掛程式，以在 MediaWiki 平台中啟用數學感知搜尋？
• RQ5 與現有數學搜尋系統相比，該系統在實際人工作評估的即時查詢下表現如何？

主要发现

• 對於查詢 'Gröbner, a?x² + b?y² + ?z'，MathSearch 僅返回一筆不相關結果，遠低於 WebMIaS 的 455 筆，顯示其精確度顯著提升。
• 針對查詢 'Bp+n = Bn + Bn+1 mod p for all n = 0, 1, 2, ...'，MathSearch 與 WebMIaS 均將正確結果列在第一順位，確認核心檢索功能的等價性。
• 系統在標準筆電上使用虛擬機器即能達成即時性能，證明其可行性，無需高階硬體支援。
• 透過 LaTeXML 使用語意內容-MathML，成功實現精確的數學等價性檢測，克服了傳統字串搜尋因符號差異而產生的問題。
• 透過結果交集方式將 MathWebSearch 與 Lucene 整合，有效結合語意公式匹配與高精確度文字檢索的優勢。
• 開源實作已公開提供，使其他內容提供者與研究人員可自由採用與擴充。