[论文解读] Combining Text and Formula Queries in Math Information Retrieval: Evaluation of Query Results Merging Strategies

Martin Líška, Petr Sojka+1 more|arXiv (Cornell University)|Aug 8, 2015

Mathematics, Computing, and Information Processing参考文献 4被引用 4

一句话总结

本文提出并评估了数学信息检索（MIR）中的查询扩展与结果合并策略，结合查询中的文本关键词与数学公式。采用LRO（移除最右项）方法生成子查询，并通过加权评分合并结果，该方法显著提升了检索性能，尤其在NTCIR-11 MIR数据集上表现突出，Bpref与MAP指标均优于基线方法，且Content MathML的性能略优于Presentation MathML。

ABSTRACT

Specific to Math Information Retrieval is combining text with mathematical formulae both in documents and in queries. Rigorous evaluation of query expansion and merging strategies combining math and standard textual keyword terms in a query are given. It is shown that techniques similar to those known from textual query processing may be applied in math information retrieval as well, and lead to a cutting edge performance. Striping and merging partial results from subqueries is one technique that improves results measured by information retrieval evaluation metrics like Bpref.

研究动机与目标

• 评估混合文本与公式查询中数学信息检索（MIR）的查询松弛与结果合并策略。
• 解决用户提交包含数学表达式与文本关键词的复杂查询时，MIR系统召回率与精确率较低的挑战。
• 确定通过子查询生成的查询扩展与结果合并是否相比基线方法能提升检索有效性。
• 评估不同数学表示格式（Content MathML与Presentation MathML）对检索性能的影响。

提出的方法

• LRO（移除最右项）策略通过迭代移除原始查询中最右边的项（文本关键词或公式），从完整查询逐步生成子查询，直至仅剩文本或仅剩公式。
• 每个子查询独立通过MIaS系统处理，该系统使用改进的TF-IDF排序算法索引并检索文档，该算法同时考虑公式相似性与表达式的规范化形式。
• 子查询的结果通过加权评分方案合并，其中减少程度较低的查询（更接近原始查询）获得更高权重，以优先保留更具体的匹配结果。
• 系统使用数学表达式的规范化、泛化形式，以提升对不同句法变体的匹配准确性。
• 评估使用NTCIR-11数学任务2数据集，包含50个主题、105,120篇文档与2,501份相关性判断，聚焦二元相关性及Bpref、MAP、P@1、P@5与P@10等指标。
• 使用修改版Terrier评估工具计算Bpref，该工具更适合不完整相关性池的情况。

实验结果

研究问题

• RQ1 通过子查询生成的查询扩展在数学信息检索中如何提升检索性能？
• RQ2 哪种结果合并策略——子查询结果的加权组合——在Bpref与MAP指标上表现最佳？
• RQ3 原始查询中术语的顺序是否影响LRO策略的有效性？
• RQ4 不同数学表示格式（Content MathML与Presentation MathML）对检索有效性有何影响？
• RQ5 与完整查询相比，孤立的文本或公式项在检索性能中的贡献程度如何？

主要发现

• LRO（移除最右项）查询扩展策略在Bpref与MAP指标上均表现最佳，优于基线OQO（仅原始查询）。
• OQO基线性能显著劣于所有基于扩展的方法，表明查询松弛对于提升召回率而不损失精确率至关重要。
• 仅文本查询（TTO运行）检索到的相关文档多于OQO基线，且LRO策略成功捕捉了这些结果，表明在公式失效时仍具鲁棒性。
• Content MathML性能略优于Presentation MathML，因其语义差距更小；Presentation MathML包含语义上不相关的标记，可能导致匹配偏差。
• LRO策略对查询术语顺序具有鲁棒性，因反转查询形式后性能相近，表明该方法对初始术语顺序不敏感。
• 其他扩展方法如LOO、LOoTO与APS表现略差，表明LRO通过系统性地移除最不重要的项（最右项）在该场景下为最优策略。