[论文解读] An Effective Information Retrieval for Ambiguous Query

Rajendra Kumar Roul, Sanjay K. Sahay|arXiv (Cornell University)|Apr 6, 2012

Web Data Mining and Analysis参考文献 8被引用 3

一句话总结

本文提出了一种新颖的无监督信息检索方法，针对模糊查询通过使用FreeDictionary和Gensim的向量空间模型构建社区向量。该方法基于词义的语义关联对相关网页进行聚类，通过文档向量与社区向量之间的余弦相似度，显著提升了检索准确率，实现了文档与用户意图的对齐。

ABSTRACT

Search engine returns thousands of web pages for a single user query, in which most of them are not relevant. In this context, effective information retrieval from the expanding web is a challenging task, in particular, if the query is ambiguous. The major question arises here is that how to get the relevant pages for an ambiguous query. We propose an approach for the effective result of an ambiguous query by forming community vector based on association concept of data minning using vector space model and the freedictionary. We develop clusters by computing the similarity between community vectors and document vectors formed from the extracted web pages by the search engine. We use Gensim package to implement the algorithm because of its simplicity and robust nature. Analysis shows that our approach is an effective way to form clusters for an ambiguous query.

研究动机与目标

• 解决因短词、多义词（如'apple'或'java'）导致的模糊查询相关结果检索难题。
• 通过基于用户意图的语义一致聚类，提升搜索引擎的有效性。
• 克服现有聚类与排序方法在捕捉细微词义或依赖大规模训练数据方面的局限性。
• 开发一种动态、可扩展的解决方案，利用轻量级、基于字典的关联挖掘方法，适应不断演化的网络内容。
• 在不依赖查询日志或隐私侵入性数据收集的前提下，实现对模糊查询的准确聚类。

提出的方法

• 使用标准搜索引擎提取模糊查询的前n个网页。
• 通过去除停用词、应用Porter词干提取，并利用Minipar仅提取名词，对文档进行预处理以选择关键词。
• 使用Gensim NLP库计算的TF-IDF得分构建文档向量。
• 通过查询FreeDictionary获取模糊词各词义（如'apple'作为水果、计算机或公司）的关联词，形成社区向量。
• 针对每个词义，递归查询字典以收集关联名词，并使用正则表达式仅保留出现在检索文档中的词。
• 相对于文档语料库计算每个社区向量分量的TF-IDF权重，并利用余弦相似度将文档分配至最相关的聚类。

实验结果

研究问题

• RQ1 如何在不依赖大规模语料库或查询日志的前提下，有效聚类模糊查询的网页文档？
• RQ2 基于字典关联构建的社区向量在提升模糊术语搜索结果相关性方面能达到何种程度？
• RQ3 使用Gensim和FreeDictionary的轻量级无监督方法是否能优于传统聚类或排序模型，以应对词义歧义问题？
• RQ4 依赖解析与基于名词的关键词提取如何提升聚类形成的精确度？
• RQ5 所提出的方法是否能动态适应新网络内容，同时保持高聚类准确率？

主要发现

• 所提方法成功为模糊词'apple'形成两个独立聚类，将与水果相关的文档与与计算机公司相关的文档区分开。
• 基于最大余弦相似度，文档D1和D3被分配至聚类C1（'apple'作为水果），D2和D4被分配至聚类C2（'apple'作为计算机）。
• 余弦相似度度量有效衡量了文档与社区向量之间的对齐程度，较高的相似度值表示与特定词义的相关性更强。
• 使用FreeDictionary和递归关联挖掘，实现了无需人工标注的语义一致聚类的自动发现。
• 通过利用Gensim高效的向量运算，该方法在处理动态网络内容方面表现出鲁棒性与可扩展性。
• 该方法通过引入上下文关联，减少了对聚类中心或大规模训练数据的依赖，优于传统k-means和词义消歧技术。