[论文解读] Image similarity using Deep CNN and Curriculum Learning

Srikar Appalaraju, Vineet Chaoji|arXiv (Cornell University)|Sep 26, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用 61

一句话总结

本文提出 SimNet，一种用于图像相似性的深度孪生网络，采用受课程学习启发的在线对挖掘，以及多尺度嵌入，以比传统 CNN 更好地捕捉细粒度相似性。

ABSTRACT

Image similarity involves fetching similar looking images given a reference image. Our solution called SimNet, is a deep siamese network which is trained on pairs of positive and negative images using a novel online pair mining strategy inspired by Curriculum learning. We also created a multi-scale CNN, where the final image embedding is a joint representation of top as well as lower layer embedding's. We go on to show that this multi-scale siamese network is better at capturing fine grained image similarities than traditional CNN's.

研究动机与目标

• 在给定参考图像的情况下，推动寻找视觉上相似图像的任务。
• 开发一个深度学习解决方案（SimNet），使用孪生结构进行正/负样本对训练。
• 引入一种受课程学习启发的在线对挖掘策略，用于选择信息丰富的训练对。
• 结合多尺度 CNN，将顶层和低层嵌入融为一个更丰富的图像表征。

提出的方法

• 构建一个深度孪生网络（SimNet），在正/负图像对上进行训练。
• 在训练过程中应用一种受 Curriculum Learning 启发的在线对挖掘策略，以选择信息丰富的对。
• 设计一个多尺度 CNN，其中最终嵌入是顶层和低层嵌入的联合表征。
• 将多尺度孪生嵌入与传统基于 CNN 的嵌入在图像相似性任务中进行比较。

实验结果

研究问题

• RQ1 使用孪生架构的 SimNet 在检索视觉上相似的图像方面有多有效？
• RQ2 由 Curriculum Learning 指导的在线对挖掘是否提高了训练效率和模型性能？
• RQ3 在多尺度 CNN 中结合顶层和低层嵌入是否比标准 CNN 嵌入得到更好的细粒度相似性？

主要发现

• 多尺度孪生网络比传统 CNN 更好地捕捉细粒度的图像相似性。
• 使用由 Curriculum Learning 指导的在线对挖掘，在信息丰富的图像对上训练孪生网络。
• 所提出的方法强调来自多个 CNN 层的嵌入融合，以提升相似性判断。