[论文解读] Convolutional neural network architecture for geometric matching

Ignacio Rocco, Relja Arandjelović+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 16, 2017

Advanced Image and Video Retrieval Techniques参考文献 47被引用 53

一句话总结

一个可完全训练的 CNN 架构，用于估计图像对之间的几何变换，使用可微分的匹配层，并在合成数据上进行端到端训练，在实例级和类别级匹配方面达到最先进的结果。

ABSTRACT

We address the problem of determining correspondences between two images in agreement with a geometric model such as an affine or thin-plate spline transformation, and estimating its parameters. The contributions of this work are three-fold. First, we propose a convolutional neural network architecture for geometric matching. The architecture is based on three main components that mimic the standard steps of feature extraction, matching and simultaneous inlier detection and model parameter estimation, while being trainable end-to-end. Second, we demonstrate that the network parameters can be trained from synthetically generated imagery without the need for manual annotation and that our matching layer significantly increases generalization capabilities to never seen before images. Finally, we show that the same model can perform both instance-level and category-level matching giving state-of-the-art results on the challenging Proposal Flow dataset.

研究动机与目标

• 在大幅外观变化和杂乱背景下，推动稳健的图像-到-图像对应。
• 开发一个端到端可训练的架构，模仿经典特征匹配和鲁棒的变换估计。
• 实现从合成数据训练而无需人工标注，同时获得强泛化能力。
• 在一个框架内同时支持实例级和类别级几何匹配。

提出的方法

• 孪生 CNN 特征提取器（VGG-16 截至 pool4，逐特征进行 L2 归一化）以生成密集描述子。
• 基于相关性的匹配层计算所有成对描述子相似性，并应用通道级归一化以降低模糊匹配的权重。
• 回归网络（两层卷积 + BatchNorm + ReLU + 最后一层全连接）从归一化相关图估计变换参数。
• 分层变换建模：先估计仿射变换，对图像 A 进行扭曲，然后估计薄板样条（TPS）以进行精化，组合得到最终的 TPS。
• 使用对变形网格上的完全监督损失从合成变换进行训练，使端到端反向传播成为可能，而无需人工标注。
• 损失函数在可变形网格上应用真实变换和估计变换后，衡量网格点的位移；对变换参数求梯度。

实验结果

研究问题

• RQ1 一个可完全训练的 CNN 架构是否能够模仿经典匹配流程，以估计图像对之间的几何变换？
• RQ2 相较于拼接或相减方案，带归一化的相关性匹配层是否能提升对杂乱背景和重复模式的鲁棒性？
• RQ3 从合成数据进行端到端训练是否可以泛化到未见过的图像，并同时支持类别级和实例级匹配？
• RQ4 对于复杂几何变换，分阶段的两步估计（先仿射再 TPS）能带来哪些增益？

主要发现

• 所提出的方法在 Proposal Flow 数据集上达到最先进的 PCK，超过依赖对象 proposal 的方法。
• 仿射与 TPS 阶段提升对齐，联合仿射估计进一步提升性能。
• 带通道级归一化的相关层在泛化和准确性方面优于拼接或相减的匹配策略。
• 归一化（模仿第二最近邻）显著提升性能（例如在消融中从 44% 提升到 49%）。
• 该方法在不同训练数据源之间具有良好的泛化性（StreetView 与 Pascal VOC 合成数据集）。
• 定性结果展示了对大幅外观变化、杂乱背景和非刚性形变的鲁棒处理。