[논문 리뷰] Symmetric-Constrained Irregular Structure Inpainting for Brain MRI Registration with Tumor Pathology

Xiaofeng Liu, Fangxu Xing외 4명|arXiv (Cornell University)|2021. 01. 17.

Medical Image Segmentation Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 비정형 뇌 종양 환자의 뇌 MRI 스캔을 건강한 뇌 템플릿에 정확하게 탄성적 등록을 가능하게 하기 위해 대칭 제약을 부여한 다단계 이미지 복원 프레임워크를 제안한다. 전역적 맥락 인식 생성, 패치 단위 특징 정제, 해부학적 대칭 우선순위를 결합함으로써, 종양 부위에 현실적인 조직 구조를 합성하여 기준 방법 대비 등록 성능을 크게 향상시킨다.

ABSTRACT

Deformable registration of magnetic resonance images between patients with brain tumors and healthy subjects has been an important tool to specify tumor geometry through location alignment and facilitate pathological analysis. Since tumor region does not match with any ordinary brain tissue, it has been difficult to deformably register a patients brain to a normal one. Many patient images are associated with irregularly distributed lesions, resulting in further distortion of normal tissue structures and complicating registration's similarity measure. In this work, we follow a multi-step context-aware image inpainting framework to generate synthetic tissue intensities in the tumor region. The coarse image-to-image translation is applied to make a rough inference of the missing parts. Then, a feature-level patch-match refinement module is applied to refine the details by modeling the semantic relevance between patch-wise features. A symmetry constraint reflecting a large degree of anatomical symmetry in the brain is further proposed to achieve better structure understanding. Deformable registration is applied between inpainted patient images and normal brains, and the resulting deformation field is eventually used to deform original patient data for the final alignment. The method was applied to the Multimodal Brain Tumor Segmentation (BraTS) 2018 challenge database and compared against three existing inpainting methods. The proposed method yielded results with increased peak signal-to-noise ratio, structural similarity index, inception score, and reduced L1 error, leading to successful patient-to-normal brain image registration.

연구 동기 및 목표

• 비정형 종양 부위로 인한 구조적 불일치로 인해 뇌 종양 환자와 건강한 대조군 간의 탄성적 정규화에 도전하는 것.
• 뇌 해부학의 맥락적 및 대칭 우선순위를 활용하여 큰 비정형 종양 구멍에서의 이미지 복원을 향상시키는 것.
• 결손된 종양 부위에 의미적으로 타당하고 해부학적으로 일관된 조직 표면을 생성하는 다단계 딥 러닝 프레임워크를 개발하는 것.
• 복원된 이미지를 탄성 변형 필드 추정의 중간 입력으로 사용하여 환자 이미지에서 정상 뇌로의 정확한 정규화를 가능하게 하는 것.
• BraTS 2018 데이터셋에서 방법을 검증하고 기존의 복원 및 정규화 기준 방법 대비 뛰어난 성능을 입증하는 것.

제안 방법

• 이 방법은 세 단계 프레임워크를 사용한다: 원시 이미지 생성을 위한 전역 인지 추론(GPI), 의미적 관련성 기반 특징 수준 정제를 위한 맥락 인식 패치 교환(CPS), 고해상도 재구성용 특징에서 이미지로 변환하는 F2I 네트워크.
• 특징 정제 단계에 명시적인 대칭 제약을 통합하여 인간 뇌의 준대칭성을 활용해 구조 일관성과 세부 사항 복원을 향상시킨다.
• GPI 모듈은 적대적 훈련을 사용하는 U-Net 기반 생성자로 종양 부위에 초기적으로 타당한 조직 내용을 생성한다.
• CPS 모듈은 미분 가능한 패치 매칭 기법을 사용해 이미지 전역에서 패치 단위 특징 매칭을 수행하여 국소 텍스처를 정제하고 공간 일관성을 확보한다.
• F2I 네트워크는 적대적 손실, 인지적 손실, 사이클 일관성 손실을 사용하여 실사성과 구조 정밀도를 향상시킨다.
• 탄성 정규화는 복원된 환자 이미지와 정상 뇌 아틀라스 간에 ANTs SyN 알고리즘을 사용하여 수행되며, 유사도 측정 지표로 정규화된 상호상관관계를 사용한다.

실험 결과

연구 질문

• RQ1 다단계 맥락 인식 복원 프레임워크는 비정형 종양 부위에서 결손된 뇌 조직을 해부학적으로 타당성을 유지하면서 효과적으로 재구성할 수 있는가?
• RQ2 뇌 대칭성을 우선순위로 통합할 경우 종양 영향을 받은 MRI 스캔에서 이미지 복원의 품질과 구조 정확도는 어떻게 향상되는가?
• RQ3 복원된 이미지를 탄성 정규화의 입력으로 사용할 경우 직접 정규화보다 종양 영향을 받은 뇌와 정상 뇌 이미지 간의 정렬 성능이 향상되는가?
• RQ4 이러한 방법은 기존의 단일 단계 복원 방법에 비해 이미지 품질과 정규화 성능 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 대칭 제약은 최소한의 계산 오버헤드로 복원 품질을 향상시키며, 추론 비용을 증가시키지 않나?

주요 결과

• 대칭을 적용했을 때 BraTS 2018 테스트 세트에서 평균 L1 오차는 254.8을 기록하여, Patch-match(445.8) 및 Partial Conv(373.2)와 같은 기준 방법보다 유의미하게 낮았다.
• 대칭 적용 시 구조적 유사도 지수(SSIM)는 0.9682를 기록하여 다음으로 우수한 방법(0.9512)을 능가했으며, 더 나은 구조 보존을 나타냈다.
• 대칭 적용 시 피크 신호 대 노이즈 비율(PSNR)은 34.52로 향상되어 이미지 정밀도 향상과 왜곡 감소를 보였다.
• 대칭 적용 시 인ception 스코어는 10.58로 상승하여 생성된 조직 텍스처의 품질과 다양성이 향상됨을 나타냈다.
• 정규화된 뇌 부위와 아틀라스 간 상호정보량(MI)은 직접 정규화 시 평균 0.3097에서 복원 정규화 시 0.3129로 향상되어 정상 조직 영역에서 더 나은 정렬을 확인했다.
• 제거 분석 결과, 대칭 제약이 추가 테스트 비용 없이 복원 품질을 향상시켜 효율성과 효과성을 입증했다.