[论文解读] Deep Learning Improves Template Matching by Normalized Cross Correlation

Davit Buniatyan, Thomas Macrina+3 more|arXiv (Cornell University)|May 24, 2017

Advanced Image and Video Retrieval Techniques参考文献 7被引用 9

一句话总结

本文提出一种深度学习方法，通过使用孪生卷积神经网络对图像进行预处理，以区分真实匹配与虚假匹配，从而增强归一化互相关（NCC）模板匹配性能。与带通滤波相比，该方法将虚假匹配减少了2–7倍，仅导致0.12%的真实匹配被拒绝，即可实现近乎零的误报率，显著提升了高精度神经连接组学应用的鲁棒性。

ABSTRACT

Template matching by normalized cross correlation (NCC) is widely used for finding image correspondences. We improve the robustness of this algorithm by preprocessing images with "siamese" convolutional networks trained to maximize the contrast between NCC values of true and false matches. The improvement is quantified using patches of brain images from serial section electron microscopy. Relative to a parameter-tuned bandpass filter, siamese convolutional networks significantly reduce false matches. Furthermore, all false matches can be eliminated by removing a tiny fraction of all matches based on NCC values. The improved accuracy of our method could be essential for connectomics, because emerging petascale datasets may require billions of template matches to assemble 2D images of serial sections into a 3D image stack. Our method is also expected to generalize to many other computer vision applications that use NCC template matching to find image correspondences.

研究动机与目标

• 提升串行切片电子显微镜（EM）中归一化互相关（NCC）模板匹配的鲁棒性，因为虚假匹配会严重影响三维重建的准确性。
• 减少基于NCC的对应点检测中的假阳性匹配，特别是在EM数据中常见的图像失真、损伤和强度波动背景下。
• 开发一种弱监督的深度学习方法，以增强NCC性能，而无需精确的真值匹配位置标注。
• 通过使NCC输出更具判别性，提高虚假匹配拒绝的效率，同时最小化在过滤过程中丢失的真实匹配。
• 通过将错误率降至接近零并最大限度保留真实对应信息，实现对千万亿像素级EM图像堆栈的可扩展、高通量对齐。

提出的方法

• 训练孪生卷积神经网络，以最大化真实匹配与虚假匹配的NCC得分差异，仅使用弱监督：即源图像中存在真实匹配，但不提供其具体位置。
• 网络同时处理模板图像和源图像，学习增强如线粒体等特征，同时抑制如直线边缘或均质区域等难以定位的结构。
• 预处理后的图像随后输入标准3D NCC，以计算归一化互相关图谱，其中峰值高度（r_max）和宽度（r_delta）分别表示匹配质量与定位精度。
• 基于NCC输出的阈值对虚假匹配进行剔除，该方法在拒绝效率方面优于传统的带通滤波。
• 训练目标促使网络生成的NCC输出中，真实匹配具有尖锐的局部化和高分值，而虚假匹配则被抑制且定位模糊。
• 该方法在不同模板尺寸和对齐任务（相邻切片与跨切片）之间均表现出良好泛化能力，对不同程度的图像形变和噪声具有鲁棒性。

实验结果

研究问题

• RQ1 深度学习能否提升串行切片电子显微镜中归一化互相关（NCC）模板匹配的鲁棒性？
• RQ2 与传统的带通滤波相比，使用孪生卷积神经网络对图像进行预处理，能否减少基于NCC的对应点检测中的假阳性匹配？
• RQ3 经过深度学习预处理的图像，其NCC输出能否更高效地用于剔除虚假匹配，同时保留更高比例的真实匹配？
• RQ4 该方法在不同模板尺寸和对齐难度（如相邻切片与跨切片）之间泛化能力如何？
• RQ5 网络学习到的图像特征是什么？这些特征如何促进定位精度的提升并减少虚假匹配？

主要发现

• 与带通滤波相比，孪生卷积神经网络将虚假匹配率降低了2–7倍，错误率降至0.05%至0.30%之间。
• 该方法将拒绝效率提高了3.5倍：在相邻224px情况下，仅需拒绝0.12%的真实匹配即可完全剔除所有虚假匹配，而带通滤波则需拒绝0.40%。
• 在最具挑战性的任务中（跨切片，160px模板），带通滤波需拒绝20%的真实匹配，而深度学习方法仅需拒绝不足1%。
• 网络成功识别并增强了类似关键点的特征（如线粒体），同时抑制了难以定位的结构（如直线细胞膜和血管）。
• 当模板缺乏可检测的关键点（如被细胞体主导）时，网络出现失败，但此类情况较少见，可通过针对性的数据增强进行缓解。
• 该方法在训练任务之外也表现出良好泛化能力，在更简单（相邻）和更困难（跨）对齐任务中均优于带通滤波。