[論文レビュー] Combining Text and Formula Queries in Math Information Retrieval: Evaluation of Query Results Merging Strategies

Martin Líška, Petr Sojka+1 more|arXiv (Cornell University)|Aug 8, 2015

Mathematics, Computing, and Information Processing参考文献 4被引用数 4

ひとこと要約

本稿では、テキストキーワードと数学的式を組み合わせたクエリにおいて、数学情報検索（MIR）のためのクエリ拡張および結果マージ戦略を提案および評価する。LRO（右端を除く）法を用いて部分クエリを生成し、重み付きスコアリングで結果をマージすることで、特にNTCIR-11 MIRデータセットにおいて、ベースライン手法を上回る性能を示した。BprefおよびMAP指標において、Content MathMLはPresentation MathMLよりも優れた結果をもたらした。

ABSTRACT

Specific to Math Information Retrieval is combining text with mathematical formulae both in documents and in queries. Rigorous evaluation of query expansion and merging strategies combining math and standard textual keyword terms in a query are given. It is shown that techniques similar to those known from textual query processing may be applied in math information retrieval as well, and lead to a cutting edge performance. Striping and merging partial results from subqueries is one technique that improves results measured by information retrieval evaluation metrics like Bpref.

研究の動機と目的

• テキストと数式が混在するクエリを対象とした数学情報検索（MIR）におけるクエリ緩和および結果マージ戦略の評価。
• ユーザーがテキストキーワードと数学的式を含む複雑なクエリを発行する際、MIRシステムにおけるリCALLおよび精度の低さという課題に対処すること。
• 部分クエリ生成によるクエリ拡張と結果マージが、ベースライン手法に比べて検索効果を向上させるかどうかを検証すること。
• 異なる数学表記形式（Content MathML 対 Presentation MathML）が検索性能に与える影響を評価すること。

提案手法

• LRO（右端を除く）戦略により、元のクエリから段階的に右端の語（テキストキーワードまたは数式）を除いて部分クエリを生成する。元のクエリから始まり、最終的にテキストのみまたは数式のみのクエリにまで到達する。
• 各部分クエリはMIaSシステムを独立して処理し、数式類似度と正規化された表現を考慮した修正TF-IDFランク付けを用いてドキュメントをインデックス化および検索する。
• 部分クエリの結果は、元に近い（削減度が低い）クエリほど高い重みが与えられる重み付きスコアリング方式でマージされる。これにより、より具体的な一致を優先する。
• 数学的式の正規化・一般化形を用いることで、構文的変種にわたる一致精度を向上させる。
• 評価にはNTCIR-11 Math Task 2データセットを用い、50件のトピック、105,120件のドキュメント、2,501件の関連性判断を含み、二値関連性とBpref、MAP、P@1、P@5、P@10などの指標に注目する。
• 不完全な関連性プールに適したBprefの計算に、Terrierの評価ツールの修正版が使用された。

実験結果

リサーチクエスチョン

• RQ1 部分クエリ生成によるクエリ拡張は、数学情報検索における検索性能をどのように向上させるか？
• RQ2 重み付き部分クエリ結果の組み合わせという結果マージ戦略の中で、BprefおよびMAP指標で最も優れた性能を示すのはどれか？
• RQ3 元のクエリにおける語の順序は、LRO戦略の有効性に影響を及けるか？
• RQ4 異なる数学表記形式（Content MathML 対 Presentation MathML）は、検索効果にどのように影響を与えるか？
• RQ5 完全なクエリに比べ、分離されたテキストまたは数式の語が検索性能にどの程度貢献するか？

主な発見

• LRO（右端を除く）クエリ拡張戦略が最良の性能を示し、ベースラインのOQO（オリジナルクエリのみ）に比べ、BprefおよびMAP指標で優れた結果を達成した。
• OQOベースラインは、すべての拡張ベース手法よりも顕著に劣っており、クエリ緩和がリCALLを向上させつつ精度を損なわずに、検索性能を向上させるために不可欠であることが示された。
• テキストのみのクエリ（TTOラン）は、OQOベースラインよりも関連性の高いドキュメントを多く検索した。LRO戦略は、この結果を効果的に捉えており、数式が失敗した場合の堅牢性を示した。
• Content MathMLは、Presentation MathMLに比べわずかに優れた結果を示した。これは、Presentation MathMLが意味的に関連性の低いマークアップを含むため、一致に不一致を引き起こす可能性があるためである。
• LRO戦略はクエリ語の順序に対して堅牢である。逆順のクエリ表現でも類似した性能を示したため、初期の語順に依存しないことが示された。
• 他の拡張手法（LOO、LOoTO、APS）はわずかに劣った結果を示した。これは、LROが最小限の重要性を持つ語（右端）を体系的に除去する方法が、この設定において最適であることを示唆している。