[论文解读] CoMIR: Contrastive Multimodal Image Representation for Registration

Nicolas Pielawski, Elisabeth Wetzer+5 more|arXiv (Cornell University)|Jun 11, 2020

Image Processing Techniques and Applications参考文献 63被引用 55

一句话总结

CoMIR 通过对比学习学习多模态图像的共享、密集表征，从而实现具有旋转等变性的特征的单模态配准。

ABSTRACT

We propose contrastive coding to learn shared, dense image representations, referred to as CoMIRs (Contrastive Multimodal Image Representations). CoMIRs enable the registration of multimodal images where existing registration methods often fail due to a lack of sufficiently similar image structures. CoMIRs reduce the multimodal registration problem to a monomodal one, in which general intensity-based, as well as feature-based, registration algorithms can be applied. The method involves training one neural network per modality on aligned images, using a contrastive loss based on noise-contrastive estimation (InfoNCE). Unlike other contrastive coding methods, used for, e.g., classification, our approach generates image-like representations that contain the information shared between modalities. We introduce a novel, hyperparameter-free modification to InfoNCE, to enforce rotational equivariance of the learnt representations, a property essential to the registration task. We assess the extent of achieved rotational equivariance and the stability of the representations with respect to weight initialization, training set, and hyperparameter settings, on a remote sensing dataset of RGB and near-infrared images. We evaluate the learnt representations through registration of a biomedical dataset of bright-field and second-harmonic generation microscopy images; two modalities with very little apparent correlation. The proposed approach based on CoMIRs significantly outperforms registration of representations created by GAN-based image-to-image translation, as well as a state-of-the-art, application-specific method which takes additional knowledge about the data into account. Code is available at: https://github.com/MIDA-group/CoMIR.

研究动机与目标

• 在模态缺乏相似结构的情况下，推动多模态图像配准。
• 提出一个对比学习框架，为不同模态生成共享表示（CoMIRs）。
• 使标准的单模态配准算法能够应用于多模态对。
• 引入一个旋转等变约束，无需额外超参数或架构变更。

提出的方法

• 对每个模态使用一个神经网络，从对齐的图像对中学习 CoMIRs。
• 用一个两模态对比损失（InfoNCE）及其评估器 h(y^1, y^2) 来最大化 CoMIRs 之间的互信息。
• 通过在 90 度旋转变换下最大化相似性来引入旋转等变约束，且无需额外超参数。
• 从训练图像中采样负补丁，为对比损失提供多样的负样本。
• 对评估器进行实验：MSE 和余弦相似度；报告基于 MSE 的 CoMIRs 在配准性能上更有利。

实验结果

研究问题

• RQ1 可以将对齐的多模态图像对映射到一个共享、密集的表示，以支持单模态配准吗？
• RQ2 使用 InfoNCE 的对比损失是否能产生适用于跨模态的旋转等变 CoMIRs 以用于配准？
• RQ3 不同的评估器（MSE 与余弦）及超参数如何影响 CoMIR 的质量和配准性能？
• RQ4 在初始化和训练数据方面，CoMIR 的稳定性与可重复性如何？

主要发现

• CoMIR 通过将多模态图像对的配准简化为单模态方法，实现了多模态图像对的成功配准。
• 可以将旋转等变约束以无超参数的方式并入对比损失，产生超越 90 度整数倍的等变表征。
• 在评估的设置中，基于 MSE 的 CoMIR 通常提供比基于余弦的变体更好的配准性能。
• 在生物医学 BF 和 SHG 数据上，基于 CoMIR 的配准显著优于 GAN 基于的图像翻译方法和最先进的特定数据方法。
• CoMIR 的训练对超参数和权初始化稳定，甚至可以使用非常小的训练集（甚至单一图像对）。
• 该方法在不同数据集上表现出鲁棒性（Zurich 航拍 RGB/NIR 和生物医学 BF/SHG），并支持基于强度和基于特征的单模态配准。