[论文解读] Learning style similarity for searching infographics

Babak Saleh, Mira Dontcheva+2 more|arXiv (Cornell University)|Jan 1, 2015

Image Retrieval and Classification Techniques参考文献 18被引用 17

一句话总结

本文提出了一种基于机器学习的图表风格相似性度量方法，利用众包感知数据，结合颜色直方图和梯度方向直方图（HoG）特征，有效捕捉视觉风格。该方法在图像检索任务中表现优异，表明视觉特征融合能提升复杂图形设计中的风格相似性度量性能。

ABSTRACT

Infographics are complex graphic designs integrating text, images, charts and sketches. Despite the increasing popularity of infographics and the rapid growth of online design portfolios, little research investigates how we can take advantage of these design resources. In this paper we present a method for measuring the style similarity between infographics. Based on human perception data collected from crowdsourced experiments, we use computer vision and machine learning algorithms to learn a style similarity metric for infographic designs. We evaluate different visual features and learning algorithms and find that a combination of color histograms and Histograms-of-Gradients (HoG) features is most effective in characterizing the style of infographics. We demonstrate our similarity metric on a preliminary image retrieval test.

研究动机与目标

• 为解决在线设计作品集在图表风格分析中研究不足的问题。
• 开发一种计算高效且感知准确的图表风格相似性度量方法。
• 识别最有效的视觉特征和学习算法，以基于人类感知建模图表风格。
• 在真实世界的图像检索任务中评估所提出的度量方法。

提出的方法

• 通过众包实验收集人类对图表风格相似性的感知数据。
• 从图表图像中提取包括颜色直方图和梯度方向直方图（HoG）在内的视觉特征。
• 训练机器学习模型，基于人工标注的相似性判断学习风格相似性度量。
• 通过特征组合和算法比较优化模型，以最大化检索性能。
• 使用学习到的相似性度量在初步图像检索任务中评估最终模型。

实验结果

研究问题

• RQ1 哪些视觉特征最能捕捉图表之间的风格差异？
• RQ2 不同机器学习算法在从人类感知数据学习风格相似性度量方面表现如何？
• RQ3 学习到的相似性度量能否提升图表检索任务的准确性？
• RQ4 颜色特征与纹理特征在风格相似性感知中的相对贡献是什么？

主要发现

• 颜色直方图与梯度方向直方图（HoG）特征的组合在建模风格相似性方面表现最佳。
• 颜色与纹理特征的融合显著优于仅使用单一特征类型的方法。
• 学习到的相似性度量在初步图像检索任务中表现出可测量的性能提升。
• 人类感知数据对于训练与视觉直觉一致的风格比较度量至关重要。