[논문 리뷰] Synth-by-Reg (SbR): Contrastive learning for synthesis-based registration of paired images

Adrià Casamitjana, Matteo Mancini외 1명|arXiv (Cornell University)|2021. 07. 30.

AI in cancer detection참고 문헌 42인용 수 23

한 줄 요약

이 논문은 비지도 학습 프레임워크인 Synth-by-Reg(SbR)를 제안한다. 기존의 합성-등록 방식을 뒤집어, 고정된 등록 네트워크를 사용해 영상 합성을 이끌어내는 방법이다. ℓ1 유사도 기반의 등록 손실과 대비 학습 기반의 기하 일致성 손실을 도입하여 블러링과 잡음 요소를 방지하며, 상호정보 기반 방법보다 13% 낮은 랜드마크 오차와 CycleGAN보다 11% 낮은 오차를 기록하여 지도 학습 방법과 유사한 성능을 달성한다.

ABSTRACT

Nonlinear inter-modality registration is often challenging due to the lack of objective functions that are good proxies for alignment. Here we propose a synthesis-by-registration method to convert this problem into an easier intra-modality task. We introduce a registration loss for weakly supervised image translation between domains that does not require perfectly aligned training data. This loss capitalises on a registration U-Net with frozen weights, to drive a synthesis CNN towards the desired translation. We complement this loss with a structure preserving constraint based on contrastive learning, which prevents blurring and content shifts due to overfitting. We apply this method to the registration of histological sections to MRI slices, a key step in 3D histology reconstruction. Results on two different public datasets show improvements over registration based on mutual information (13% reduction in landmark error) and synthesis-based algorithms such as CycleGAN (11% reduction), and are comparable to a registration CNN with label supervision. Code and data are publicly available at \url{https://github.com/acasamitjana/SynthByReg}

연구 동기 및 목표

• 비선형 상호모달성 정렬 문제, 특히 상호정보와 같은 전통적 유사도 측정법이 성능이 떨어지는 조직도-비디오 자기공명영상(MRI) 정렬 문제를 해결하기 위해.
• GAN 기반 합성 방법의 한계, 예를 들어 과적합으로 인한 환영, 블러링, 잡음 요소를 극복하기 위해.
• 완벽하게 정렬된 학습 데이터나 복잡한 적대적 학습이 필요 없는 약한 지도 학습 기반 비지도 학습 프레임워크를 개발하기 위해.
• 고정된 등록 네트워크를 이용해 영상 합성에 대한 미분 가능한 지도 신호를 제공함으로써 정렬 정확도를 향상시키기 위해.
• 패치 수준에서 대비 학습을 통해 기하학적 일관성을 확보하여 합성 영상의 구조적 유지 능력을 향상시키고, 콘텐츠 이동과 구조적 열화를 방지하기 위해.

제안 방법

• 이 방법은 타겟 도메인(예: MRI)의 영상 쌍에 대해 사전 학습된 U-Net 기반의 고정된 등록 네트워크 R(θR)를 사용하여 변형 장치를 예측하고, 이를 영상 합성에 지도 신호로 활용한다.
• 합성 컨볼루션 네트워크 G(θG)는 소스 영상(예: 조직도)을 타겟 모odal(예: MRI)로 변환하며, 타겟 영상 T와 변형된 합성 영상 ST(Φ) 간의 ℓ1 유사도를 측정하는 새로운 등록 손실 Lreg를 사용한다.
• 패치 수준에서 PatchNCE를 사용하여 대비 학습 기반의 기하 일관성 손실 Lgeo 를 도입하여 소스 영상과 합성 영상의 국소 패치들이 의미적으로 일치하도록 하여, 블러링과 콘텐츠 이동을 방지한다.
• 총 손실는 L(θG) = Lreg + λgeo·Lgeo 로 구성되며, λgeo = 0.02 로 설정하고, 고정된 등록 네트워크를 통해 역전파를 통해 엔드 투 엔드로 학습한다.
• 사이클 일관성 또는 분포 매칭 손실(예: CycleGAN)을 피하여 학습의 불안정성과 메모리 사용량을 감소시킨다.
• 이 프레임워크는 합성 영상과 동시에 변형 장치를 출력하여, 후속 정렬 작업에 직접 활용할 수 있다.

실험 결과

연구 질문

• RQ1 고정된 등록 네트워크를 영상 합성 네트워크의 지도 신호로 사용할 수 있는가?
• RQ2 대비 학습 기반의 기하 일관성 손실을 도입함으로써 기존 GAN 기반 방법 대비 합성 영상의 구조적 정합성은 향상되는가?
• RQ3 합성-등록 접근 방식이 비선형 비강성 환경에서 기존의 상호정보 기반 정렬 측정법보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법은 조직도-비디오 자기공명영상 변환에서 블러링과 대trast 반전 등의 잡음 요소를 어느 정도 감소시키는가?
• RQ5 지상 진실 변형 장치나 세분화 레이블이 필요 없이도 지도 학습 기반 정렬 성능과 유사한 성능을 달성할 수 있는가?

주요 결과

• Allen Human Brain Atlas 데이터셋에서 SbR는 상호정보 기반 정렬 대비 13% 낮은 랜드마크 오차를 기록하였으며, p값 < 0.001 이다.
• BigBrain 데이터셋에서 SbR는 cGAN 대비 23% 낮은 랜드마크 오차와 RoT 대비 33% 낮은 오차를 기록하였으며, 모두 통계적으로 유의미하다(p < 0.001).
• 기하 일관성 손실이 제거된 개선되지 않은 버전(SbR-N)은 합성 잡음 요소로 인해 성능이 떨어졌으며, 대비 손실의 필요성을 입증한다.
• SbR는 학습 중 세분화 레이블을 사용하지 않았음에도 불구하고 NMIw와 유사한 조직 클래스의 Dice 점수를 기록하여 강력한 구조적 정합성을 보였다.
• 추가 손실(예: SbR-G 및 SbR-R)을 도입한 확장형은 통계적으로 유의미한 향상이 없었으며, 핵심 SbR 손실가 이미 최적임을 시사한다.
• 정성적 결과는 치밀한 구조(예:皮질)의 정확한 정렬을 보였으며, 염색 잡음과 강도 비균일성의 영향에도 불구하고 우수한 성능를 유지하였다.