[论文解读] Neural Best-Buddies: Sparse Cross-Domain Correspondence

Kfir Aberman, Jing Liao+4 more|arXiv (Cornell University)|May 10, 2018

Advanced Vision and Imaging参考文献 51被引用 12

一句话总结

本文提出神经最佳伙伴（NBB），一种新颖的稀疏跨域对应方法，利用预训练卷积神经网络（CNN）提取的分层深度特征，在不同语义类别图像之间寻找语义上和几何上相似的局部区域。通过在特征层次间计算相互最近邻（最佳伙伴），并采用从粗到细的定位优化策略，同时结合局部风格迁移实现外观对齐，NBB在具有挑战性的跨域场景中实现了鲁棒的对应关系，支持高精度的图像变形与混合图像生成等应用。

ABSTRACT

Correspondence between images is a fundamental problem in computer vision, with a variety of graphics applications. This paper presents a novel method for sparse cross-domain correspondence. Our method is designed for pairs of images where the main objects of interest may belong to different semantic categories and differ drastically in shape and appearance, yet still contain semantically related or geometrically similar parts. Our approach operates on hierarchies of deep features, extracted from the input images by a pre-trained CNN. Specifically, starting from the coarsest layer in both hierarchies, we search for Neural Best Buddies (NBB): pairs of neurons that are mutual nearest neighbors. The key idea is then to percolate NBBs through the hierarchy, while narrowing down the search regions at each level and retaining only NBBs with significant activations. Furthermore, in order to overcome differences in appearance, each pair of search regions is transformed into a common appearance. We evaluate our method via a user study, in addition to comparisons with alternative correspondence approaches. The usefulness of our method is demonstrated using a variety of graphics applications, including cross-domain image alignment, creation of hybrid images, automatic image morphing, and more.

研究动机与目标

• 解决来自不同语义领域图像之间稀疏对应关系的挑战，尤其当物体在形状和外观上存在显著差异时。
• 在这些图像对之间识别出具有语义关联性或几何相似性的有意义区域。
• 开发一种从粗到细的框架，利用分层深度特征实现准确且鲁棒的对应关系。
• 通过局部风格迁移将外观差异最小化，映射到统一的外观空间。
• 支持图像变形、对齐与混合图像生成等实际图形学应用。

提出的方法

• 该方法在预训练CNN提取的分层特征图中，计算神经最佳伙伴（NBBs）作为相互最近邻。
• 通过从粗到细的层级传播NBBs，利用前序层的感受野约束对空间位置进行精细化调整。
• 在每层计算归一化激活图，基于高激活值筛选NBBs，确保仅保留显著特征。
• 通过基于实例归一化的风格迁移实现局部外观对齐，将对应区域的均值与标准差合并至统一外观空间。
• 相似性度量采用特征统计的混合方式，以确保在跨域设置下可靠的块相关性。
• 通过分层细化，最终将对应点精确定位于像素级分辨率。

实验结果

研究问题

• RQ1 在分层深度特征中采用相互最近邻匹配，是否能实现在不同语义领域图像之间的鲁棒稀疏对应？
• RQ2 如何缓解不同领域图像之间的外观差异，以提升对应关系的准确性？
• RQ3 NBBs的从粗到细细化在多大程度上能提高显著图像特征的定位精度？
• RQ4 该方法能否泛化至多样化的图形学应用，如图像变形与混合图像生成？
• RQ5 通过局部风格迁移建立统一外观空间，相较于标准相关性方法，其在多大程度上提升了对应质量？

主要发现

• 与基线方法相比，所提出的NBB方法在跨域场景中实现了更优的对应精度，尤其在形状与外观差异较大的情况下表现更优。
• 通过局部风格迁移实现统一外观空间，显著提升了匹配精度，表现为低层特征匹配中误匹配点的减少。
• 采用归一化激活阈值（γ = 0.05）过滤NBBs，能有效保留语义上有意义且几何上显著的对应关系。
• 用户研究表明，NBB生成的对应关系在视觉感知上更准确，且在图形学应用中更具实用性。
• 该方法即使在对象差异较大的情况下（如狮子与猫），也能成功实现高质量的图像变形与混合图像生成。
• NBBs的从粗到细传播机制，实现了对边缘、角点等关键特征在像素级的精确定位。