[논문 리뷰] Joint Progressive and Coarse-to-fine Registration of Brain MRI via Deformation Field Integration and Non-Rigid Feature Fusion

Jinxin Lv, Zhiwei Wang외 5명|arXiv (Cornell University)|2021. 09. 25.

Medical Image Segmentation Techniques인용 수 5

한 줄 요약

이 논문은 뇌 MRI 정렬을 위한 통합적인 딥러닝 프레임워크를 제안하며, 두 가지 신규 모듈인 변형장 통합(DFI)과 비정규 특징 융합(NFF)을 사용하여 점진적이고 군집적인 변형장 추정을 동시에 수행한다. 더 넓은 하위장들을 반복적으로 통합하고 다양한 척도에서 정렬된 특징을 융합함으로써, 기존 방법에 비해 최대 8% 향상된 평균 Dice 점수를 달성하여 최신 기술 수준의 정확도를 확보한다.

ABSTRACT

Registration of brain MRI images requires to solve a deformation field, which is extremely difficult in aligning intricate brain tissues, e.g., subcortical nuclei, etc. Existing efforts resort to decomposing the target deformation field into intermediate sub-fields with either tiny motions, i.e., progressive registration stage by stage, or lower resolutions, i.e., coarse-to-fine estimation of the full-size deformation field. In this paper, we argue that those efforts are not mutually exclusive, and propose a unified framework for robust brain MRI registration in both progressive and coarse-to-fine manners simultaneously. Specifically, building on a dual-encoder U-Net, the fixed-moving MRI pair is encoded and decoded into multi-scale deformation sub-fields from coarse to fine. Each decoding block contains two proposed novel modules: i) in Deformation Field Integration (DFI), a single integrated sub-field is calculated, warping by which is equivalent to warping progressively by sub-fields from all previous decoding blocks, and ii) in Non-rigid Feature Fusion (NFF), features of the fixed-moving pair are aligned by DFI-integrated sub-field, and then fused to predict a finer sub-field. Leveraging both DFI and NFF, the target deformation field is factorized into multi-scale sub-fields, where the coarser fields alleviate the estimate of a finer one and the finer field learns to make up those misalignments insolvable by previous coarser ones. The extensive and comprehensive experimental results on both private and public datasets demonstrate a superior registration performance of brain MRI images over progressive registration only and coarse-to-fine estimation only, with an increase by at most 8% in the average Dice.

연구 동기 및 목표

• 복잡한 소규모 구조(예: 소뇌핵 등)를 포함한 뇌 MRI 영상의 정확한 정렬 문제를 해결하기 위해.
• 기존 방법이 점진적 또는 군집적 분해 전용으로만 사용하는 데서 비롯되는 효율성 부족 또는 정확도 저하 문제를 해결하기 위해.
• 점진적 및 군집적 정렬을 하나의 효율적인 프레임워크로 통합하여 정렬 정확도를 향상시키기 위해.
• 다양한 스캔 프로토콜과 영상 패atters에 걸쳐 강건한 정렬 성능을 제공함으로써 일반화 능력을 향상시키기 위해.

제안 방법

• 고정 및 이동 MRI 쌍을 다중 척도 특징으로 인코딩하기 위해 이중 인코더 U-Net 아키텍처를 사용한다.
• 각 복원 블록에서 변형장 통합(DFI)은 이전 모든 하위장들을 순차적으로 적용하는 것과 동일하게 작용하는 단일 통합 변형장 하위장을 계산한다.
• 비정규 특징 융합(NFF)은 DFI로 통합된 장을 사용해 고정 및 이동 영상 특징을 정렬하고, 채널 및 공간 주의 메커니즘을 통해 융합하여 더 세밀한 하위장을 예측한다.
• DFI와 NFF는 복원 블록 간에 번갈아가며 적용되어 전체 변형장의 점진적 및 군집적 분해를 동시에 실현한다.
• 이미지 유사성(NCC, MI, MSE)과 분할 정확도(Dice, HD, ASSD)를 조합한 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 단일 디코더와 다중 척도 감독을 사용하여 다양한 MRI 프로토콜에 걸쳐 효율성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 점진적 및 군집적 분해를 동시에 적용하는 것이 개별적으로 사용할 경우에 비해 뇌 MRI 정렬 정확도를 향상시키는가?
• RQ2 이전 단계에서 유도된 변형장 통합이 딥 네트워크 내에서 더 세밀한 하위장 추정에 어떻게 기여하는가?
• RQ3 주의 메커니즘을 통한 특징 융합이 소뇌핵과 같은 복잡한 뇌 구조의 정렬에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 다양한 MRI 시퀀스와 스캔 프로토콜 간에도 잘 일반화되는가?
• RQ5 제안된 방법은 이미지 유사성 및 영역 기반 분할 지표에서 최신 기술 수준의 방법을 초월하는가?

주요 결과

• IXI 데이터셋에서 제안된 방법은 기준 방법 대비 최대 8% 향상된 평균 Dice 점수를 기록하여 분할 정확도가 뛰어나다는 것을 입증한다.
• DFI만 추가해도 Dice 점수가 1.9% 향상되고, 주의 메커니즘을 통한 NFF 추가로 2.5% 향상되어 각각 유의미한 기여를 한다.
• DFI와 NFF를 함께 적용하면 기준 방법 대비 3.6% 향상되며, 대응 표본 t-검정에서 p-값이 1.70e-9 이하로 통계적으로 유의미하다.
• 제거 실험 결과 DFI와 NFF가 상호 보완적이며 함께 정렬 성능을 향상시킨다는 것이 확인된다.
• 검증된 바에 따르면 다양한 MRI 프로토콜 간에도 잘 일반화되며, 새로운 스캔 시퀀스에 대한 일반화 테스트에서 성능이 우수하다.
• 네 개의 데이터셋에서 VTN과 Dual-PRNet을 포함한 최신 기술 수준의 방법들보다 이미지 유사성 및 영역 기반 유사성 지표에서 모두 뛰어난 성능을 보였다.