[论文解读] Constructing an Interaction Behavior Model for Web Image Search

Xiaohui Xie, Jiaxin Mao+4 more|arXiv (Cornell University)|May 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 34被引用 3

一句话总结

本文提出了基于网格的用户浏览模型（GUBM），这是一种用于网络图像搜索的无监督交互行为模型，通过利用光标悬停和点击数据来估计用户的检查行为和结果相关性。GUBM在行为预测和排序效果方面优于最先进模型，表明悬停交互是相关性的强指标，可显著提升主题相关性和图像质量指标。

ABSTRACT

User interaction behavior is a valuable source of implicit relevance feedback. In Web image search a different type of search result presentation is used than in general Web search, which leads to different interaction mechanisms and user behavior. For example, image search results are self-contained, so that users do not need to click the results to view the landing page as in general Web search, which generates sparse click data. Also, two-dimensional result placement instead of a linear result list makes browsing behaviors more complex. Thus, it is hard to apply standard user behavior models (e.g., click models) developed for general Web search to Web image search. In this paper, we conduct a comprehensive image search user behavior analysis using data from a lab-based user study as well as data from a commercial search log. We then propose a novel interaction behavior model, called grid-based user browsing model (GUBM), whose design is motivated by observations from our data analysis. GUBM can both capture users' interaction behavior, including cursor hovering, and alleviate position bias. The advantages of GUBM are two-fold: (1) It is based on an unsupervised learning method and does not need manually annotated data for training. (2) It is based on user interaction features on search engine result pages (SERPs) and is easily transferable to other scenarios that have a grid-based interface such as video search engines. We conduct extensive experiments to test the performance of our model using a large-scale commercial image search log. Experimental results show that in terms of behavior prediction (perplexity), and topical relevance and image quality (normalized discounted cumulative gain (NDCG)), GUBM outperforms state-of-the-art baseline models as well as the original ranking. We make the implementation of GUBM and related datasets publicly available for future studies.

研究动机与目标

• 理解网络图像搜索中的用户交互模式，特别是光标悬停在点击之外的作用。
• 解决现有点击模型在图像搜索中因点击稀疏和非线性结果布局而存在的局限性。
• 开发一种捕捉基于网格的浏览模式并缓解图像搜索中位置偏差的行为模型。
• 创建一种可迁移的无监督模型，仅使用可观测的交互特征，无需标注数据。
• 通过将悬停行为作为用户检查和相关性的代理，提升结果排序。

提出的方法

• 该模型基于三个核心假设：用户以方向性网格遍历方式检查结果，悬停表示检查行为，用户可能在垂直和水平方向上跳过结果。
• GUBM利用基于网格的SERP上的可观测交互序列——点击和悬停——来估计内部参数，如检查概率和查询-图像相关性。
• 该模型采用无监督学习框架，无需人工标注的相关性数据，可在大规模商业搜索日志上进行训练。
• 它将用户浏览建模为基于网格位置的马尔可夫过程，其转移概率由交互频率和序列模式决定。
• 该模型计算交互序列的似然得分，并利用该得分推断图像结果的相关性。
• GUBM设计为可迁移至其他基于网格的界面，如视频或产品搜索引擎。

实验结果

研究问题

• RQ1 在网页图像搜索中，用户交互行为（尤其是悬停）与检查行为和相关性之间有何关联？
• RQ2 在基于网格的图像搜索界面中，用户浏览的主导模式是什么？
• RQ3 在点击稀疏的情况下，悬停是否可作为图像搜索中相关性估计的可靠信号？
• RQ4 与传统网页搜索相比，用户行为模型如何适应图像搜索特有的布局和交互模式？
• RQ5 仅使用交互数据的无监督模型在排序效果方面，能在多大程度上超越有监督基线模型？

主要发现

• 悬停图像结果的频率是点击的8至10倍，表明其是相关性估计中丰富且未被充分利用的信号。
• 用户倾向于以方向性方式检查结果，常在垂直和水平方向上跳过项目，这挑战了传统点击模型对顺序检查的假设。
• 在大规模商业图像搜索日志上，GUBM在行为预测方面显著优于原始排序模型和最先进基线模型，以困惑度衡量。
• 在相关性评估方面，GUBM在主题相关性和图像质量的归一化折损累计收益（NDCG）方面均有提升。
• 将悬停数据整合到模型中带来了可测量的性能提升，证实悬停是用户检查行为的强有力代理。
• 该模型具有鲁棒性和可迁移性，潜在应用包括其他基于网格的搜索界面，如视频或产品搜索。