[论文解读] Improving Statistical Multimedia Information Retrieval (MIR) Model by using Ontology

Mayank Singh, Vishal Jain|arXiv (Cornell University)|Jan 1, 2014

Image Retrieval and Classification Techniques参考文献 20被引用 4

一句话总结

本文提出了一种通过本体集成增强的统计多媒体信息检索（MIR）模型，以缩小用户查询与多媒体内容之间的语义鸿沟。通过将基于本体的术语表示与扩展布尔模型和贝叶斯网络等统计IR技术相结合，该模型通过文本和图像术语的结构化语义索引，提升了相关性排序和用户查询满意度。

ABSTRACT

The process of retrieval of relevant information from massive collection of documents, either multimedia or text documents is still a cumbersome task. Multimedia documents include various elements of different data types including visible and audible data types (text, images and video documents), structural elements as well as interactive elements. In this paper, we have proposed a statistical high level multimedia IR model that is unaware of the shortcomings caused by classical statistical model. It involves use of ontology and different statistical IR approaches (Extended Boolean Approach, Bayesian Network Model etc) for representation of extracted text-image terms or phrases. A typical IR system that delivers and stores information is affected by problem of matching between user query and available content on web. Use of Ontology represents the extracted terms in form of network graph consisting of nodes, edges, index terms etc. The above mentioned IR approaches provide relevance thus satisfying user‟s query. The paper also emphasis on analyzing multimedia documents and performs calculation for extracted terms using different statistical formulas. The proposed model developed reduces semantic gap and satisfies user needs efficiently.

研究动机与目标

• 解决在大规模文档集合中用户查询与多媒体内容之间持续存在的语义不匹配问题。
• 通过将本体结构与统计IR模型结合，减少多媒体信息检索中的语义鸿沟。
• 通过使用网络化语义图表示提取的文本和图像术语，提高检索准确率和用户满意度。
• 开发一种高级统计MIR框架，利用本体更好地表示多媒体内容。

提出的方法

• 使用本体将提取的文本和图像术语表示为具有节点、边和索引术语的网络图，以实现语义结构化。
• 集成扩展布尔模型和贝叶斯网络模型等统计IR方法，用于相关性计算。
• 使用统计公式，基于术语频率和从本体中推导出的语义关系计算相关性得分。
• 将用户查询映射到本体结构化术语，以实现与多媒体内容的语义感知匹配。
• 通过结合文本和视觉特征表示多媒体内容，并利用本体进行索引，实现统一检索。
• 对多媒体文档中的结构化和交互式元素应用语义索引，以提高检索精度。

实验结果

研究问题

• RQ1 本体集成在多大程度上能够改善统计IR模型中多媒体内容的语义表示？
• RQ2 基于本体的索引在多大程度上减少了用户查询与多媒体文档内容之间的语义鸿沟？
• RQ3 当增强为本体结构化术语时，统计IR模型（扩展布尔模型、贝叶斯网络模型）表现如何？
• RQ4 本体与统计MIR模型的集成能否带来更高的用户查询满意度和更优的相关性排序？

主要发现

• 所提出的模型通过基于本体的语义索引，有效缩小了用户查询与多媒体内容之间的语义鸿沟。
• 将本体与统计IR模型结合，通过实现语义感知的术语匹配，增强了检索结果的相关性。
• 使用网络化图结构（节点、边、索引术语）改善了提取的文本和图像术语的表示。
• 当与本体增强的术语表示结合时，扩展布尔模型和贝叶斯网络等统计IR方法表现出更优的性能。
• 由于检索结果更加准确且具有语义意义，用户查询满意度得到提升。