[논문 리뷰] Geometric Visual Similarity Learning in 3D Medical Image Self-supervised Pre-training

Yuting He, Guanyu Yang외 5명|arXiv (Cornell University)|2023. 03. 02.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 3D 의료 영상의 자기지도 학습 사전 훈련을 위한 새로운 프레임워크인 기하학적 시각 유사도 학습(Geometric Visual Similarity Learning, GVSL)을 제안한다. GVSL은 상호 영상 간 유사도 측정을 향상시키기 위해 위상적 불변성을 활용한다. Z-매칭 헤드를 도입하여 전역적이고 국소적인 기하학적 대응을 동시에 학습함으로써, 의미 영역 간 일관된 표현 학습을 가능하게 하여, 네 개의 3D 의료 영상 기반 벤치마크에서 내부 장면, 장면 간, 전역-국소 전이 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Learning inter-image similarity is crucial for 3D medical images self-supervised pre-training, due to their sharing of numerous same semantic regions. However, the lack of the semantic prior in metrics and the semantic-independent variation in 3D medical images make it challenging to get a reliable measurement for the inter-image similarity, hindering the learning of consistent representation for same semantics. We investigate the challenging problem of this task, i.e., learning a consistent representation between images for a clustering effect of same semantic features. We propose a novel visual similarity learning paradigm, Geometric Visual Similarity Learning, which embeds the prior of topological invariance into the measurement of the inter-image similarity for consistent representation of semantic regions. To drive this paradigm, we further construct a novel geometric matching head, the Z-matching head, to collaboratively learn the global and local similarity of semantic regions, guiding the efficient representation learning for different scale-level inter-image semantic features. Our experiments demonstrate that the pre-training with our learning of inter-image similarity yields more powerful inner-scene, inter-scene, and global-local transferring ability on four challenging 3D medical image tasks. Our codes and pre-trained models will be publicly available on https://github.com/YutingHe-list/GVSL.

연구 동기 및 목표

• 의미에 독립적인 외관 변화로 인해 3D 의료 영상 자기지도 학습에서 상호 영상 간 유사도 측정이 신뢰할 수 없게 되는 문제를 해결하기 위해.
• 클러스터링 기반, 대비 기반, 생성 기반 기존 방법의 한계를 극복하기 위해 위상적 불변성을 사전 지식으로 통합하여 강건한 유사도 학습을 가능하게 하기 위해.
• 기하학적 매칭과 자기 복원을 동시에 최적화하는 통합 프레임워크를 개발하여, 서로 다른 영상 간 동일한 의미 영역의 특징 일관성을 향상시키기 위해.
• 내부 장면, 장면 간, 전역-국소 전이 설정을 포함한 다양한 최종 작업에 대해 사전 훈련된 모델의 전이 가능성 향상시키기 위해.

제안 방법

• 3D 의료 영상에서 상호 영상 간 유사도 측정의 안정성을 높이기 위해 위상적 불변성을 인덕티브 바이어스로 통합하는 새로운 패러다임인 기하학적 시각 유사도 학습(GVSL)을 제안한다.
• 기하학적 매칭 메커니즘을 이용해 이미지 쌍 간의 전역적 및 국소적 기하학적 대응을 동시에 학습하는 Z-매칭 헤드를 설계한다.
• 기하학적 매칭 작업 최적화를 지원하기 위해 시각적 의미의 기본적이고 강건한 표현을 제공하는 자기 복원 선구제 작업을 통합한다.
• 기하학적 매칭을 위한 감독 신호로 정규화된 상관관계(NCC) 손실을 사용하여, 외관 변화가 있는 영상 간 의미 영역의 정렬을 가능하게 한다.
• 자기 복원과 기하학적 매칭을 결합한 다중 작업 목적 함수를 사용해 모델을 엔드 투 엔드로 훈련하며, Z-매칭 헤드가 일관된 특징 학습을 이끌도록 한다.
• 3D 의료 영상의 공간 완전성과 해부학적 일관성을 활용하여 위상적 불변성을 활용해 신뢰할 수 있는 의미 대응 발견을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 의료 영상에서 위상적 불변성을 어떻게 활용하여 자기지도 학습 시 상호 영상 간 유사도 측정의 신뢰성을 향상시킬 수 있는가?
• RQ2 전역적 및 국소적 대응을 동시에 학습하는 기하학적 매칭 헤드가 서로 다른 영상 간 동일한 의미 영역의 표현 일관성을 향상시키는가?
• RQ3 기하학적 매칭과 자기 복원 선구제 작업을 조합할 경우, 의미 특징의 클러스터링 효과와 최종 작업 전이 성능이 얼마나 향상되는가?
• RQ4 GVSL은 3D 의료 영상 작업에서 내부 장면, 장면 간, 전역-국소 전이성 측면에서 기존 자기지도 학습 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• 자기 복원과 Z-매칭을 함께 사용할 경우, 국소적 특징의 클러스터링 효과가 크게 향상되어 서로 다른 의미 영역의 클러스터가 뚜렷하게 분리됨.
• Z-매칭 헤드 덕분에 큰 외관 변화가 있는 상황에서도 기하학적 대응을 효과적으로 학습할 수 있었으며, NCC 손실의 수렴과 함께 특징 정렬이 향상됨.
• 자기 복원과 기하학적 매칭의 조합은 각각의 작업만 수행할 경우보다 더 대표적이고 구분력 있는 특징을 생성함.
• GVSL은 네 가지 과도한 도전 과제를 포함한 3D 의료 영상 작업에서 뛰어난 성능을 기록하여 내부 장면, 장면 간, 전역-국소 전이성 모두에서 뛰어난 성능을 보임.
• 제거 실험을 통해 기본적인 자기 복원 작업이 기하학적 매칭 작업 최적화의 안정성 확보에 필수적임을 확인함.
• 스캐닝 프로토콜의 변화에 대해 뛰어난 강인성을 보이며, 외관 차이가 있음에도 불구하고 동일한 의미 영역에 대해 일관된 표현을 유지함.