[논문 리뷰] Deep Learning with Attention to Predict Gestational Age of the Fetal Brain

Liyue Shen, Katie Shpanskaya외 7명|arXiv (Cornell University)|2018. 12. 09.

Fetal and Pediatric Neurological Disorders참고 문헌 1인용 수 8

한 줄 요약

이 논문은 다중 시야(fetal brain MRI: axial, coronal, sagittal)를 활용하여 임신 주수를 높은 정확도로 예측하는 엔드 투 엔드 주의 기반 딥러닝 프레임워크를 제안한다. 약한 지도 학습 기반 주의 맵을 사용하여 회전 불변성 있는 국소화 및 자르기 기능을 구현함으로써, 다양한 코hort(125–273일 임신 기간)에서 R² = 0.94, 평균 절대 오차(MAE) = 6.8일을 달성한다.

ABSTRACT

Fetal brain imaging is a cornerstone of prenatal screening and early diagnosis of congenital anomalies. Knowledge of fetal gestational age is the key to the accurate assessment of brain development. This study develops an attention-based deep learning model to predict gestational age of the fetal brain. The proposed model is an end-to-end framework that combines key insights from multi-view MRI including axial, coronal, and sagittal views. The model also uses age-activated weakly-supervised attention maps to enable rotation-invariant localization of the fetal brain among background noise. We evaluate our methods on the collected fetal brain MRI cohort with a large age distribution from 125 to 273 days. Our extensive experiments show age prediction performance with R2 = 0.94 using multi-view MRI and attention.

연구 동기 및 목표

• 다중 시야 MRI를 사용하여 태반 뇌의 임신 주수를 정확하게 예측하기 위한 엔드 투 엔드 딥러닝 프레임워크를 개발하는 것.
• 약한 지도 학습 기반 주의 메커니즘을 도입하여 MRI에서 태반 뇌의 위치와 방향이 다양하게 변하는 문제를 해결하는 것.
• 통합된 모델에서 축합된 다중 MRI 시야(axial, coronal, sagittal)의 특징을 통합하여 회귀 성능을 향상시키는 것.
• 주의 메커니즘이 관련 해부학적 특징에 집중하면서 모성 및 배경 노이즈를 걸러내어 모델 성능을 향상시킨다는 것을 입증하는 것.
• 125~273일의 임신 기간을 포함하는 대규모이고 다양한 태반 MRI 코hort에서 방법을 검증하는 것.

제안 방법

• 모델은 전역 브랜치에서 연산을 위한 연산기반 네트워크(ResNet-18 및 ResNet-50)를 백본으로 사용하여 연령 회귀를 수행한다.
• 최종 잔차 블록 이후의 특징 맵에서 주의 맵을 생성하여 관심 영역을 강조한다.
• 주의 맵은 임계값(ResNet-18용 0.3, ResNet-50용 0.4)을 적용하여 이진 마스크를 생성하고, 자동으로 하위 영역을 자르는 데 사용된다.
• 최소 둘레를 갖는 가장 많은 임계값 처리된 픽셀을 포함하는 직사각형 경계 상자(bounding box)를 계산하고, 자른 영역를 224×224로 크기 조정하여 국소 브랜치의 입력으로 사용한다.
• 전역 브랜치와 국소 브랜치의 특징는 연결 또는 평균화를 통해 융합한 후 최종 회귀 예측을 수행한다.
• 예측된 임신 주수와 진짜 임신 주수 간의 L2 손실을 최소화하도록 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반 주의 메커니즘을 사용하여, 지도 정보가 없는 상태에서 노이즈가 많은 다중 방향 MRI 스캔에서 태반 뇌를 효과적으로 국소화할 수 있는가?
• RQ2 단일 시야 접근 방식에 비해 다중 시야 MRI(axial, coronal, sagittal)는 임신 주수 예측에 어떻게 향상되는가?
• RQ3 주의 메커니즘이 관련 해부학적 특징에 집중함으로써 회귀 정확도를 얼마나 향상시키는가?
• RQ4 자동 뇌 하위 영역 자르기의 주의 맵 이진화에 최적의 임계값은 무엇인가?
• RQ5 전역 및 국소 브랜치의 특징 융합은 각각의 브랜치를 별도로 사용하는 것보다 우수한 성능을 내는가?

주요 결과

• 제안된 모델은 주의 기반 다중 시야 MRI를 사용하여 R² = 0.94, 평균 절대 오차(MAE) = 6.8일을 달성한다.
• 전역 및 국소 브랜치의 특징를 연결하는 융합 브랜치는 ResNet-50를 사용할 때 R² = 0.9420, MAE = 6.8444로 가장 높은 성능을 기록한다.
• 주의 메커니즘이 기초 정확도가 낮을 경우 특히 성능 향상에 기여하며, 이는 모델이 관련 뇌 구조에 집중할 수 있도록 해준다.
• 다중 시야 학습은 단일 시야 예측보다 일관되게 우수한 성능을 보이며, 축합 및 관절 평면에서 가장 유용한 특징을 제공한다.
• 주의 맵 이진화 단계의 임계값은 성능에 결정적인 영향을 미치며, 너무 높거나 너무 낮은 값은 모델 정확도를 떨어뜨린다.
• 시각화 결과는 주의 메커니즘이 다양한 스캔 방향과 배경에서 자동으로 태반 뇌를 강력하게 국소화한다는 것을 확인한다.