[论文解读] Item Popularity Prediction in E-commerce Using Image Quality Feature Vectors

Stephen Zakrewsky, Kamelia Aryafar+1 more|arXiv (Cornell University)|May 12, 2016

Digital Marketing and Social Media参考文献 21被引用 11

一句话总结

本文提出了一种多模态方法，通过结合手工设计的图像质量特征（如模糊度、景深、纹理和构图）与商品列表中的文本特征，预测Etsy平台上电商商品的受欢迎程度。利用逻辑回归，研究显示，与仅使用文本的模型相比，图像+文本建模使AUC提升了3.45%，表明图像质量显著提高了受欢迎程度预测的准确性。

ABSTRACT

Online retail is a visual experience- Shoppers often use images as first order information to decide if an item matches their personal style. Image characteristics such as color, simplicity, scene composition, texture, style, aesthetics and overall quality play a crucial role in making a purchase decision, clicking on or liking a product listing. In this paper we use a set of image features that indicate quality to predict product listing popularity on a major e-commerce website, Etsy. We first define listing popularity through search clicks, favoriting and purchase activity. Next, we infer listing quality from the pixel-level information of listed images as quality features. We then compare our findings to text-only models for popularity prediction. Our initial results indicate that a combined image and text modeling of product listings outperforms text-only models in popularity prediction.

研究动机与目标

• 研究图像质量对电商平台上商品受欢迎程度的影响，特别是在Etsy等长尾平台上的影响。
• 开发一组反映产品图像美学和技术方面的手工设计图像质量特征。
• 评估将图像质量特征与文本特征结合是否能提升相比仅使用文本特征的受欢迎程度预测性能。
• 为电商场景中的图像质量度量提供一个公开可用的特征提取流水线。

提出的方法

• 通过结合成熟的计算机视觉技术提取图像质量特征，包括基于拉普拉斯金字塔的模糊度与平滑度度量、MSER用于检测文本和纹理区域，以及空间边缘分布分析。
• 该方法计算了高频能量质心、基于小波和拉普拉斯的平滑度，以及通过图像区域的局部方差估计景深等特征。
• 通过拼接简洁性、模糊度、景深、三分法构图、纹理（基于SIFT池化）以及实验性特征（如MSER数量）构建了总维度为5152的图像质量特征向量。
• 文本特征通过从商品标题和标签中提取分词后的单字词和双字词获得，形成独立模态。
• 通过将图像质量特征与文本特征拼接，为每个商品列表构建多模态表示。
• 受欢迎程度定义为收藏数、点击数和购买数的总和；使用逻辑回归预测受欢迎程度，并与仅使用文本的基线模型进行性能比较。

实验结果

研究问题

• RQ1 图像质量特征在多大程度上提升了在Etsy等电商平台上对商品受欢迎程度的预测能力？
• RQ2 将图像质量特征与文本特征结合，与仅使用文本特征相比，在受欢迎程度预测中表现如何？
• RQ3 哪些具体的图像质量特征（如模糊度、纹理或构图）对预测商品列表受欢迎程度的贡献最为显著？
• RQ4 融合图像和文本特征的多模态模型是否能优于仅使用单一模态的模型，以预测用户对商品列表的参与度？

主要发现

• 与仅使用文本的基线模型相比，多模态模型中引入图像质量特征使AUC提升了3.45%，表明在受欢迎程度预测方面有显著改进。
• 仅使用图像的模型相比仅使用文本的基线模型AUC提升了1.07%，表明图像质量特征本身也具有显著的预测价值。
• 该特征集包含5152个维度，其中纹理特征占5120个维度，凸显了纹理分析在质量评估中的重要性。
• 本研究验证了模糊度、景深以及高频能量空间分布等特征在捕捉感知图像质量方面的有效性。
• 作者公开发布了其图像质量特征提取流水线，有助于研究的可复现性，并推动电商视觉质量建模领域的进一步研究。