[논문 리뷰] Semantic similarity metrics for learned image registration

Steffen Czolbe, Oswin Krause외 1명|arXiv (Cornell University)|2021. 04. 20.

Medical Image Segmentation Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 딥 레이어에서 학습된 특징(자율학습 기반 오토에인코더 또는 분할 모델 기반)을 활용하여 학습된 이미지 정렬의 데이터 기반 의미적 유사도 측정 기준인 DeepSim을 제안한다. 이는 전통적인 유사도 측정 기준인 NCC 및 MSE보다 여러 생물의학적 데이터셋에서 정확도를 높이며, 특히 노이즈가 많은 조건에서 이미지 아티팩트에 대한 불변성을 학습하고 더 매끄럽고 해부학적으로 정확한 변환을 생성함으로써 성능을 향상시킨다.

ABSTRACT

We propose a semantic similarity metric for image registration. Existing metrics like Euclidean Distance or Normalized Cross-Correlation focus on aligning intensity values, giving difficulties with low intensity contrast or noise. Our approach learns dataset-specific features that drive the optimization of a learning-based registration model. We train both an unsupervised approach using an auto-encoder, and a semi-supervised approach using supplemental segmentation data to extract semantic features for image registration. Comparing to existing methods across multiple image modalities and applications, we achieve consistently high registration accuracy. A learned invariance to noise gives smoother transformations on low-quality images.

연구 동기 및 목표

• 전통적인 픽셀 기반 유사도 측정 기준(예: MSE, NCC)의 한계를 해결함. 이는 노이즈 및 낮은 대trast에 민감하기 때문이다.
• 해부학적 및 구조적 대응 관계를 더 잘 반영하는 데이터세트 특화 의미적 특징을 학습하여 정렬 정확도를 향상시킴.
• 다양한 영상 모odalities에 걸쳐 수작업 하이퍼파라미터 조정이 필요한 전통적 기준에 대한 의존도를 줄이는 일반적인 유사도 측정 기준 개발.
• 저품질 영상—예를 들어 저선량 CT나 초음파—에서도 노이즈에 대한 불변성을 학습함으로써 강건한 정렬을 가능하게 함.
• 자율학습 기반 오토에인코더 또는 준자율학습 기반 분할 모델에서 유도된 의미적 특징이 추가 애너테이션 없이도 강화된 성능을 내거나 전통적인 감독 기반 측정 기준을 능가할 수 있음을 입증함.

제안 방법

• 강화된 특징을 학습하기 위해 강도 영상에 대해 오토에인코더를 훈련하여 자율학습 기반 의미적 특징을 생성함 (DeepSim-ae).
• 레이블이 애너테이션된 데이터로 훈련된 분할 모델을 사용하여 준자율학습 기반 의미적 특징을 추출함 (DeepSim-seg), 이는 해부학적 관련성을 반영함.
• 변환된 이동 영상과 고정 영상 간의 특징 수준 상관관계를 기반으로 한 유사도 측정 기준을 구성함으로써 기존의 강도 기반 측정 기준을 대체함.
• DeepSim 측정 기준을 딥 러닝 기반 정렬 프레임워크에 통합하여, 학습된 특징 유사도를 사용해 변환을 기울기 하강법으로 최적화함.
• 매끄럽고 물리적으로 타당한 변형 필드를 확보하기 위해 확산 정규화 기법을 적용함. 모든 방법에 동일한 하이퍼파라미터 설정을 유지함.
• 특징 추출기와 정렬 모델을 함께 또는 별도로 훈련함으로써 이미지 쌍 간의 특징을 정렬함.

실험 결과

연구 질문

• RQ1 딥 레이어 특징 기반의 학습된 의미적 유사도 측정 기준이 전통적인 픽셀 기반 측정 기준(NCC, MSE 등)보다 정렬 정확도를 향상시킬 수 있는가?
• RQ2 특징 학습 과정에서 해부학적 분할 레이블을 통합할 경우 자율학습 기반 특징 학습보다 더 높은 정렬 성능을 달성할 수 있는가?
• RQ3 기존의 측정 기준이 강도 아티팩트로 인해 실패하는 상황에서, 제안된 DeepSim 측정 기준은 저품질 또는 노이즈가 많은 영상에서 어떻게 성능을 발휘하는가?
• RQ4 학습된 특징 기반 측정 기준은 모달리티 특화 조정 없이 다양한 영상 모달리티와 해부학적 구조에 일반화될 수 있는가?
• RQ5 DeepSim의 성능 향상 효과는 MRI, CT, 현미경 영상 등 다양한 생물의학적 데이터셋에서 견고한가?

주요 결과

• 자율학습 기반 버전인 DeepSim-ae는 세 가지 데이터셋 중 두 개에서 NCC_sup와 유사하거나 더 높은 정렬 정확도를 달성함으로써, 높은 성능을 내기 위해 분할 레이블이 필요하지 않음을 입증함.
• 준자율학습 기반 버전인 DeepSim-seg는 Brain-MRI 데이터셋에서 해부학적 영역의 Dice 격리율에서 모든 베이스라인을 초월함. 특히 강조된 영역에서 두 방법 모두 모든 베이스라인보다 높은 중앙값 Dice 점수를 확보함.
• 노이즈가 많은 영상에서 DeepSim로 훈련된 모델은 NCC 및 NCC_sup에 비해 훨씬 더 매끄럽고 균일한 변형 필드를 생성함. 이는 아티팩트에 민감한 전통적 기준이 과도하게 세밀하고 비정상적인 변형을 유도하기 때문임.
• qualitative 분석 결과, DeepSim의 학습된 특징는 노이즈에 대해 불변성을 보이며, 정규화 강도를 증가시키지 않아도 정확한 정렬이 가능함.
• 전통적인 기준을 여러 번 실험적으로 테스트할 필요가 없어지며, DeepSim은 주어진 데이터셋에 적합한 특징를 자동으로 학습함.
• DeepSim은 다양한 모달리티로 일반화 가능하며, 딥 러닝 기반 정렬 프레임워크를 넘어서 알고리즘 기반 정렬 또는 다른 영상 회귀 작업에 적용 가능함.