[논문 리뷰] Spatially-varying Regularization with Conditional Transformer for Unsupervised Image Registration

Junyu Chen, Yihao Liu외 2명|arXiv (Cornell University)|2023. 03. 10.

Medical Image Segmentation Techniques인용 수 4

한 줄 요약

이 논문은 조건부 트랜스포머를 사용하여 비지도 의료 영상 정렬을 위한 공간적으로 변화하는 정규화를 학습하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 정규화 하이퍼파ram터를 네트워크에 조건화하고 부드러움을 강제하는 새로운 로그 손실을 도입함으로써, 다양한 데이터셋에서 우수한 정렬 정확도와 더불어 변형의 비정상적인 불규칙성을 감소시켰다. 이는 최신 기준(SOTA)을 능가하는 성능을 보였다.

ABSTRACT

In the past, optimization-based registration models have used spatially-varying regularization to account for deformation variations in different image regions. However, deep learning-based registration models have mostly relied on spatially-invariant regularization. Here, we introduce an end-to-end framework that uses neural networks to learn a spatially-varying deformation regularizer directly from data. The hyperparameter of the proposed regularizer is conditioned into the network, enabling easy tuning of the regularization strength. The proposed method is built upon a Transformer-based model, but it can be readily adapted to any network architecture. We thoroughly evaluated the proposed approach using publicly available datasets and observed a significant performance improvement while maintaining smooth deformation. The source code of this work will be made available after publication.

연구 동기 및 목표

• 딥 러닝 기반 영상 정렬에서 공간적으로 불변하는 정규화의 한계를 해결하기 위해, 지역별 변형 변화를 고려하지 못하는 문제를 해결한다.
• 데이터에서 직접 공간적으로 변화하는 정규화 가중치를 학습하는 엔드 투 엔드 학습 가능한 프레임워크를 개발하여 정렬 정확도와 부드러움을 향상시킨다.
• 정규화 강도를 네트워크 아키텍처에 조건화하여 추론 중 변형의 부드러움을 제어할 수 있도록 유연한 하이퍼파ram터 튜닝을 가능하게 한다.
• 기존의 DNN 기반 정렬 모델에 큰 아키텍처 변경 없이 쉽게 통합할 수 있도록 보장한다.

제안 방법

• 이 방법은 변형의 부드러움을 조절하기 위해 병렬 가중치 부여된 확산 정규화기를 도입하여, 볼륨 단위로 가중치를 학습함으로써 공간적으로 변화하는 정규화를 적용한다.
• 네트워크가 가능한 한 강한 정규화를 적용하도록 유도하기 위해 새로운 로그 손실 항목을 제안하여 변형장의 전반적인 부드러움을 증진시킨다.
• 정규화 하이퍼파ram터 η는 트랜스포머 기반 네트워크에 조건화되어 추론 중에 다양한 영상 영역에서 정규화 강도를 동적으로 조정할 수 있다.
• 다양한 네트워크 아키텍처와 호환되며, 기존의 비지도 DNN 정렬 모델에 쉽게 적용할 수 있다.
• 가중치 부피는 신경망을 통해 엔드 투 엔드로 예측되며, 정규화 강도는 학습 가능한 하이퍼파ram터 η에 의해 제어된다.
• 합성 및 실제 의료 영상 데이터셋을 사용하여 평가하여, 다양한 정렬 작업에서의 강건성과 일반화 능력을 입증했다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 방법이 데이터로부터 공간적으로 변화하는 정규화 가중치를 효과적으로 학습하여 영상 정렬 성능을 향상시킬 수 있는가?
• RQ2 정규화 하이퍼파aram터를 네트워크 아키텍처에 조건화하는 것이 변형의 부드러움에 대한 적응성과 제어력에 어떤 영향을 미치는가?
• RQ3 제안된 로그 손실 항목이 전반적인 부드러움을 증진시키면서도 국소적인 정규화 강도의 변화를 허용하는가?
• RQ4 이 방법은 아키텍처의 대대적인 개선 없이 기존의 비지도 DNN 정렬 프레임워크에 원활하게 통합될 수 있는가?
• RQ5 정렬 정확도와 변형 품질 측면에서 이 방법은 최신 기준(SOTA) 방법들과 비교하여 어떻게 성능을 내는가?

주요 결과

• OASIS 데이터셋에서 제안된 TM-SPR 방법은 딱정 점수(Dice score) 0.870 ± 0.017을 기록하여, TM-TVF(0.869 ± 0.014) 및 기타 기준보다 유의미하게 뛰어나며, 대응 t-검정에서 p ≪ 0.0001을 기록했다.
• IXI 데이터셋에서 TM-SPR는 딱정 점수 0.769 ± 0.123를 기록하여, TM-TVF를 포함한 모든 비교 방법보다 통계적으로 유의미한 향상을 보였다.
• 메소드는 낮은 수준의 변형 비정상성(0.36%)을 유지하였으며, IXI 데이터셋에서 접힌 볼륨(NDV) 비율이 낮아, 높은 디피오모픽 품질을 나타냈다.
• 그리드 서치를 통해 OASIS에선 최적의 하이퍼파aram터 η가 0.45, IXI에선 2.2로 확인되었으며, 이는 데이터 특성에 민감함을 보였다.
• 시각적 결과는 OASIS에서 뇌실 영역에 대해 낮은 정규화를, IXI에선 높은 정규화를 적응적으로 할당함으로써 해부학적 기대와 손실 함수 제약 조건에 부합함을 확인했다.
• TM-SPR${}_{\text{diff}}$ 변종은 IXI에서 두 번째로 높은 딱정 점수(0.762 ± 0.123)를 기록했으며, 거의 0에 가까운 접힌 볼륨을 유지하여 강력한 디피오모픽 성질을 입증했다.