[论文解读] Image Retrieval with a Bayesian Model of Relevance Feedback

Dorota Głowacka, Yee Whye Teh+1 more|arXiv (Cornell University)|Mar 31, 2016

Image Retrieval and Classification Techniques参考文献 12被引用 4

一句话总结

本文提出一种基于多项式相关性反馈的贝叶斯方法，用于基于内容的图像检索，通过狄利克雷分布和贝塔分布对用户偏好进行建模，以在图像选择中平衡探索与利用。贝塔专家（BE）算法假设用户寻求的是一组可接受的图像而非单一目标，其在模拟实验和真实用户实验中均优于先前方法，平均在20次迭代内收敛，每轮展示k=10张图像。

ABSTRACT

A content-based image retrieval system based on multinomial relevance feedback is proposed. The system relies on an interactive search paradigm where at each round a user is presented with k images and selects the one closest to their ideal target. Two approaches, one based on the Dirichlet distribution and one based the Beta distribution, are used to model the problem motivating an algorithm that trades exploration and exploitation in presenting the images in each round. Experimental results show that the new approach compares favourably with previous work.

研究动机与目标

• 解决用户无法通过标签或元数据表达查询时的内容基图像检索挑战。
• 通过假设用户可能有一组可接受的图像而非单一理想目标，更准确地建模用户偏好。
• 通过在图像展示中整合显式的探索-利用权衡，提升检索性能。
• 评估基于潜在变量的贝叶斯框架是否比确定性或启发式反馈模型更能反映真实用户行为。

提出的方法

• 系统使用狄利克雷分布对图像相关性的不确定性进行建模，潜在变量θi表示图像xi为目标的概率。
• 对于贝塔专家（BE）模型，每张图像被分配一个潜在概率pi表示其被偏好的可能性，并对pi施加贝塔先验以表示不确定性。
• 在每次迭代中，基于后验分布的采样结果选择k张图像，温度参数用于控制探索与利用的权衡。
• 系统采用类似汤普森采样的采样方法选择图像，确保早期阶段具有多样性，后期阶段实现收敛。
• 用户反馈通过均匀更新方式整合到BE模型中，避免过度集中于少数图像，从而提升鲁棒性。
• 该算法根据反馈动态调整图像展示策略，性能通过模拟和真实用户研究中的收敛速度与准确性进行评估。

实验结果

研究问题

• RQ1 将用户偏好建模为一组可接受图像（而非单一目标）是否更能反映图像检索中真实用户的行为？
• RQ2 与启发式反馈方法相比，采用狄利克雷和贝塔先验的贝叶斯方法在收敛速度和准确性方面表现如何？
• RQ3 在图像采样中显式引入探索-利用权衡是否能提升检索性能，相比贪婪或非自适应策略？
• RQ4 变分贝叶斯与吉布斯采样相比均匀更新，在更新用户偏好模型时表现如何？
• RQ5 贝塔专家模型在多大程度上与真实用户在交互式图像搜索中的行为一致？

主要发现

• 在模拟实验中，贝塔专家（BE）算法显著优于AL算法和PicHunter算法，尤其在处理早期反馈错误时表现更优。
• 在15名参与者的实际用户实验中，当k=10时，BE算法平均仅需20次迭代即可找到目标图像，表明其具有出色的实用性。
• 展示图像与目标图像之间的平均距离随迭代次数稳步下降，证实了与模型预测一致的收敛行为。
• BE模型的均匀更新策略优于变分贝叶斯和吉布斯采样，后者倾向于过度集中于少数图像，且在初始反馈不佳时难以恢复。
• 真实用户即使在目标图像已显示后仍继续搜索，支持用户在最终选定前会先进行探索的假设，验证了BE模型的合理性。
• 实际实验中的收敛模式与模拟结果高度一致，证实了该模型与真实用户行为的良好兼容性。