[论文解读] Exploring a Multidimensional Representation of Documents and Queries (extended version)

Benjamin Piwowarski, Ingo Frommholz+2 more|arXiv (Cornell University)|Feb 17, 2010

Information Retrieval and Search Behavior参考文献 15被引用 4

一句话总结

本文提出了一种受量子启发的、多维的文档与查询表示方法，在信息检索中将它们建模为希尔伯特空间中的子空间，以实现概率相关性估计。通过结合叠加与混合方法进行查询表示，该框架在基线模型之上提升了检索性能，尤其在短查询场景下表现更优，并为交互式信息检索系统提供了原则性基础。

ABSTRACT

In Information Retrieval (IR), whether implicitly or explicitly, queries and documents are often represented as vectors. However, it may be more beneficial to consider documents and/or queries as multidimensional objects. Our belief is this would allow building "truly" interactive IR systems, i.e., where interaction is fully incorporated in the IR framework. The probabilistic formalism of quantum physics represents events and densities as multidimensional objects. This paper presents our first step towards building an interactive IR framework upon this formalism, by stating how the first interaction of the retrieval process, when the user types a query, can be formalised. Our framework depends on a number of parameters affecting the final document ranking. In this paper we experimentally investigate the effect of these parameters, showing that the proposed representation of documents and queries as multidimensional objects can compete with standard approaches, with the additional prospect to be applied to interactive retrieval.

研究动机与目标

• 开发一种原则性、多维的文档与查询表示方法，以支持交互式信息检索。
• 利用量子概率理论形式化信息检索中初始用户-查询交互。
• 研究文档与查询表示的不同参数化方式对检索有效性的影响。
• 探索基于术语语义连贯性的自适应查询构建方法——叠加与混合。
• 通过与标准基线的实证评估，验证该框架在交互式信息检索中的潜力。

提出的方法

• 使用文本片段将文档表示为多维子空间，其中每个片段对应希尔伯特空间中的一个基向量。
• 通过术语向量的叠加（用于语义连贯短语）和状态混合（用于独立术语）对查询进行量子态建模。
• 使用查询态在文档子空间上的投影计算相关性概率：$ \|\hat{S}\varphi\|^{2} $，其中 $ \varphi $ 为查询态，$ \hat{S} $ 为文档子空间。
• 采用密度算符表示信息需求的混合态，以实现对多个纯信息需求的概率推理。
• 根据术语是否构成概念单元，使用叠加与简单混合的混合方式构建查询表示。
• 使用标准信息检索指标（如平均精度）评估性能，并与 BM25 和基线向量空间模型进行比较。

实验结果

研究问题

• RQ1 与传统向量模型相比，将文档与查询表示为多维子空间在多大程度上提升了检索有效性？
• RQ2 查询构建方法（叠加 vs. 混合）对检索性能的影响如何，尤其是在多词查询中？
• RQ3 片段大小和术语接近度等参数如何影响文档与查询表示的质量？
• RQ4 结合叠加与混合的混合查询表示策略是否能提升对多样化查询类型的表现？
• RQ5 该框架在多大程度上通过类似量子态的演化建模用户信息需求的动态变化，支持交互式信息检索？

主要发现

• 将文档表示为多维子空间的多维表示方法显著优于传统词袋模型，尤其在考虑片段中术语的接近度与共现关系时效果更明显。
• 对于单个术语查询，所提方法始终优于 BM25，表明其在简单检索任务中具有强大性能。
• 随着查询长度增加，性能下降，表明当前查询密度计算方法对较长、复杂查询的处理效果较差。
• 对于语义连贯短语（如“social networks mining”）的查询，叠加与混合的混合方法表现更优；而对于独立术语（如“records management metadata”）的查询，简单混合方法更有效。
• 基于语义连贯性自适应结合两种构建方法，可进一步提升性能，这从不同查询类型间的表现差异中可得到验证。
• 该框架通过量子力学建立的概率基础，为相关性建模提供了原则性且几何直观的方式，支持未来在信息检索完整交互周期中的扩展。