[論文レビュー] CoMIR: Contrastive Multimodal Image Representation for Registration

Nicolas Pielawski, Elisabeth Wetzer+5 more|arXiv (Cornell University)|Jun 11, 2020

Image Processing Techniques and Applications参考文献 63被引用数 55

ひとこと要約

CoMIRは対照学習を通じて多様なモーダル画像の共有密な表現を学習し、回転等価性を持つ特徴量によるモノモーダル登録を可能にします。

ABSTRACT

We propose contrastive coding to learn shared, dense image representations, referred to as CoMIRs (Contrastive Multimodal Image Representations). CoMIRs enable the registration of multimodal images where existing registration methods often fail due to a lack of sufficiently similar image structures. CoMIRs reduce the multimodal registration problem to a monomodal one, in which general intensity-based, as well as feature-based, registration algorithms can be applied. The method involves training one neural network per modality on aligned images, using a contrastive loss based on noise-contrastive estimation (InfoNCE). Unlike other contrastive coding methods, used for, e.g., classification, our approach generates image-like representations that contain the information shared between modalities. We introduce a novel, hyperparameter-free modification to InfoNCE, to enforce rotational equivariance of the learnt representations, a property essential to the registration task. We assess the extent of achieved rotational equivariance and the stability of the representations with respect to weight initialization, training set, and hyperparameter settings, on a remote sensing dataset of RGB and near-infrared images. We evaluate the learnt representations through registration of a biomedical dataset of bright-field and second-harmonic generation microscopy images; two modalities with very little apparent correlation. The proposed approach based on CoMIRs significantly outperforms registration of representations created by GAN-based image-to-image translation, as well as a state-of-the-art, application-specific method which takes additional knowledge about the data into account. Code is available at: https://github.com/MIDA-group/CoMIR.

研究の動機と目的

• モダリティ間で類似の構造を欠く場合の多モーダル画像登録を動機づける。
• 異なるモダリティの共有表現（CoMIRs）を生成する対照学習フレームワークを提案する。
• 多モーダルペアに対して標準的なモノモーダル登録アルゴリズムの適用を可能にする。
• 追加のハイパーパラメータやアーキテクチャ変更を必要としない回転等価性制約を導入する。

提案手法

• 整列した画像ペアからCoMIRを学習するために、モダリティごとに1つのニューラルネットワークを用いる。
• CoMIR間の相互情報を最大化するために、2モダリティの対照損失（InfoNCE）を、クリティック h(y^1, y^2) とともに定式化する。
• 追加のハイパーパラメータなしに、90度回転変換下で類似度を最大化することで回転等価性制約を導入する。
• 対照損失の多様なネガティブ例を提供するために、訓練画像内からネガティブパッチをサンプリングする。
• クリティックとしてMSEとコサイン類似度を用いて実験する；MSEベースのCoMIRsが登録性能に有利であると報告する。

実験結果

リサーチクエスチョン

• RQ1 整列した多モーダル画像ペアを、モノモーダル登録をサポートする共有で密な表現へマッピングできるか？
• RQ2 InfoNCEを用いた対照損失は、モーダル間の登録に適した回転等価性を持つCoMIRを生み出すか？
• RQ3 異なるクリティック（MSE対 cosine）やハイパーパラメータがCoMIRの品質と登録性能にどのような影響を与えるか？
• RQ4 初期化と訓練データに対するCoMIRの安定性と再現性はどのようか？

主な発見

• CoMIRは、多モーダル画像ペアの登録をモノモーダル法へ還元することで、成功裏の登録を実現します。
• 回転等価性制約はハイパーパラメータ不要の方法で対照損失に組み込むことができ、90度の倍数を超える等価表現を生み出します。
• MSEベースのCoMIRが一般的にコサインベースの系より登録性能が良い。
• 生物医用BFおよびSHGデータでは、CoMIRベースの登録がGANベースの画像翻訳手法や最先端のデータ特異的手法を大きく上回ります。
• CoMIRの学習はハイパーパラメータと重み初期化に対して安定で、非常に小さな訓練データセット（単一の画像ペアでも）で機能します。
• この手法はデータセット間のロバスト性を示し、Zurichの航空RGB/NIRや生物医用BF/SHGを含む、強度ベースおよび特徴ベースのモノモーダル登録をサポートします。