[논문 리뷰] CoMIR: Contrastive Multimodal Image Representation for Registration

Nicolas Pielawski, Elisabeth Wetzer외 5명|arXiv (Cornell University)|2020. 06. 11.

Image Processing Techniques and Applications참고 문헌 63인용 수 55

한 줄 요약

CoMIR은 대비 학습을 통해 다중모달 이미지용 공유되고 밀집된 표현을 학습하여 회전 등가 특성을 갖는 단일 모달 등록을 가능하게 한다.

ABSTRACT

We propose contrastive coding to learn shared, dense image representations, referred to as CoMIRs (Contrastive Multimodal Image Representations). CoMIRs enable the registration of multimodal images where existing registration methods often fail due to a lack of sufficiently similar image structures. CoMIRs reduce the multimodal registration problem to a monomodal one, in which general intensity-based, as well as feature-based, registration algorithms can be applied. The method involves training one neural network per modality on aligned images, using a contrastive loss based on noise-contrastive estimation (InfoNCE). Unlike other contrastive coding methods, used for, e.g., classification, our approach generates image-like representations that contain the information shared between modalities. We introduce a novel, hyperparameter-free modification to InfoNCE, to enforce rotational equivariance of the learnt representations, a property essential to the registration task. We assess the extent of achieved rotational equivariance and the stability of the representations with respect to weight initialization, training set, and hyperparameter settings, on a remote sensing dataset of RGB and near-infrared images. We evaluate the learnt representations through registration of a biomedical dataset of bright-field and second-harmonic generation microscopy images; two modalities with very little apparent correlation. The proposed approach based on CoMIRs significantly outperforms registration of representations created by GAN-based image-to-image translation, as well as a state-of-the-art, application-specific method which takes additional knowledge about the data into account. Code is available at: https://github.com/MIDA-group/CoMIR.

연구 동기 및 목표

• 구조가 유사하지 않은 모달 간의 다중 모달 이미지 등록을 추진한다.
• 다른 모달에 대해 공유 표현(CoMIRs)을 생성하는 대비 학습 프레임워크를 제안한다.
• 다중 모달 쌍에 표준 단일 모달 등록 알고리즘의 적용을 가능하게 한다.
• 추가 하이퍼파라미터나 아키텍처 변경 없이 회전 등가 제약을 도입한다.

제안 방법

• 정렬된 이미지 쌍에서 CoMIR을 학습하기 위해 모달마다 하나의 신경망을 사용한다.
• 두 모달 간 대비 손실(InfoNCE)을 h(y^1, y^2) 크리틱과 함께 구성하여 CoMIR 간 상호정보를 극대화한다.
• 추가 하이퍼파라미터 없이 90도 회전 변환 하에서 유사도를 최대화하여 회전 등가 제약을 도입한다.
• 대비 손실을 위한 다양한 부정 예를 제공하기 위해 학습 이미지 내부에서 음수 패치를 샘플링한다.
• 크리틱으로 MSE와 코사인 유사도를 실험한다; MSE 기반 CoMIR이 등록 성능을 더 좋게 한다고 보고한다.

실험 결과

연구 질문

• RQ1 정렬된 다중 모달 이미지 쌍이 단일 모달 등록을 지원하는 공유되고 밀집된 표현으로 매핑될 수 있는가?
• RQ2 InfoNCE를 이용한 대비 손실이 모달 간 등록에 적합한 회전 등가 CoMIR을 생성하는가?
• RQ3 다른 크리틱(MSE 대 코사인)과 하이퍼파라미터가 CoMIR 품질과 등록 성능에 어떤 영향을 미치는가?
• RQ4 초기화 및 학습 데이터에 따른 CoMIR의 안정성 및 재현성은 어떠한가?

주요 결과

• CoMIR은 다중 모달 이미지 쌍의 등록을 단일 모달 방법으로 축소하여 성공적인 등록을 가능하게 한다.
• 회전 등가 제약은 대비 손실에 하이퍼파라미터 없이 통합될 수 있어 90도 배수가 아닌 경우까지도 등가 표현을 산출한다.
• MSE 기반 CoMIR이 일반적으로 코사인 기반 변형보다 등록 성능이 더 좋다.
• 생물의학 BF 및 SHG 데이터에서 CoMIR 기반 등록은 GAN 기반 이미지 변환 접근법과 최신 데이터 특화 방법을 크게 능가한다.
• CoMIR 학습은 하이퍼파라미터와 가중치 초기화에 대해 안정적이며 매우 작은 학습 집합(심지어 단일 이미지 쌍)으로도 작동한다.
• 이 접근법은 데이터셋(Zurich 항공 RGB/NIR 및 생의학 BF/SHG) 간에 강건함을 보여주며 강도 기반 및 특징 기반의 단일 모달 등록 모두를 지원한다.