[논문 리뷰] OTFPF: Optimal Transport-Based Feature Pyramid Fusion Network for Brain Age Estimation with 3D Overlapped ConvNeXt

Fu Yu, Yanyan Huang외 7명|arXiv (Cornell University)|2022. 05. 10.

Brain Tumor Detection and Classification인용 수 4

한 줄 요약

이 논문은 3D T1-weighted MRI를 사용한 뇌 연령 추정을 위한 엔드 투 엔드 딥 러닝 프레임워크인 OTFPF를 제안한다. 최적 운반 기반 특징 피라미드 융합, 3D 겹치는 ConvNeXt, 다중 경로 특징 융합을 통합하여 반-다중모odal 및 다중 스케일 특징 학습을 향상시킨다. 이 모델은 3–97세인 11,728명의 대상에서 평균 절대 오차(MAE) 2.097, 피어슨 상관계수(PCC) 0.993, 스피어만 순위 상관계수(SRCC) 0.989로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Chronological age of healthy brain is able to be predicted using deep neural networks from T1-weighted magnetic resonance images (T1 MRIs), and the predicted brain age could serve as an effective biomarker for detecting aging-related diseases or disorders. In this paper, we propose an end-to-end neural network architecture, referred to as optimal transport based feature pyramid fusion (OTFPF) network, for the brain age estimation with T1 MRIs. The OTFPF consists of three types of modules: Optimal Transport based Feature Pyramid Fusion (OTFPF) module, 3D overlapped ConvNeXt (3D OL-ConvNeXt) module and fusion module. These modules strengthen the OTFPF network's understanding of each brain's semi-multimodal and multi-level feature pyramid information, and significantly improve its estimation performances. Comparing with recent state-of-the-art models, the proposed OTFPF converges faster and performs better. The experiments with 11,728 MRIs aged 3-97 years show that OTFPF network could provide accurate brain age estimation, yielding mean absolute error (MAE) of 2.097, Pearson's correlation coefficient (PCC) of 0.993 and Spearman's rank correlation coefficient (SRCC) of 0.989, between the estimated and chronological ages. Widespread quantitative experiments and ablation experiments demonstrate the superiority and rationality of OTFPF network. The codes and implement details will be released on GitHub: https://github.com/ZJU-Brain/OTFPF after final decision.

연구 동기 및 목표

• T1, 회색질, 백질 MRI로부터의 다중 스케일 및 반-다중모달 특징을 활용하여 뇌 연령 추정 정확도를 향상시키기 위해.
• 기존 모델이 특징 계층을 충분히 활용하지 못하고 다중 모달 입력을 최적화하지 못하는 한계를 해결하기 위해.
• 구조적 특징 융합을 위한 최적 운반을 통합하고 수렴 속도를 향상시키는 엔드 투 엔드 아키텍처를 개발하기 위해.
• 생물학적 성별이 뇌 연령 예측에서 중요한 모달리티임을 검증하기 위해.
• 최근 최신 기술 수준 모델들보다 정확도 및 학습 효율성 측면에서 뛰어난 성능을 입증하기 위해.

제안 방법

• OTFPF 네트워크는 다중 경로 아키텍처를 사용한다: T1 MRI용 하나의 백본, 회색질 및 백질 영상용 두 개의 브랜치, 그리고 성별 레이블 전용 별도 경로.
• 계산 비용을 줄이고 국소적 특징을 더 잘 캡처하기 위해 3D 겹치는 ConvNeXt(3D OL-ConvNeXt) 모듈을 사용하여 계층적 특징을 추출한다.
• 최적 운반 기반 특징 피라미드 융합(OTFPF) 모듈은 최적 운반 임bedding을 사용하여 다중 스케일 특징을 경로 간에 통합함으로써 구조적이고 미분 가능한 특징 정렬을 학습한다.
• 이 융합 모듈은 네 단계에서 특징 융합을 계단식으로 진행하며, 점진적으로 반-다중모달 특징을 백본 경로와 융합하여 표현을 풍부하게 한다.
• 이 아키텍처는 엔드 투 엔드로 훈련 가능하며, 평균 절대 오차(MAE) 및 상관계수 기반 지표를 최소화하는 방식으로 손실을 최소화한다.
• 제거 실험을 통해 각 구성 요소의 기여도를 검증하였으며, 성별 레이블, OTEM, 3D OL-ConvNeXt 설계 등이 포함된다.

실험 결과

연구 질문

• RQ1 최적 운반 기반 특징 융합은 뇌 연령 추정에서 다중 스케일 및 반-다중모달 특징의 통합에 도움이 되는가?
• RQ2 3D 겹치는 ConvNeXt 아키텍처는 표준 3D ConvNeXt에 비해 뇌 형태 패턴을 얼마나 잘 캡처하는가?
• RQ3 생물학적 성별이 뇌 연령 추정 정확도 향상에 기여하는 정도는 어떠한가?
• RQ4 다중 경로 특징의 공동 최적화를 통한 엔드 투 엔드 훈련은 수렴 속도 향상과 더 나은 성능을 이끌어내는가?
• RQ5 OTEM 및 FPFN과 같은 아키텍처 구성 요소는 모델의 강건성과 정확도에 어떤 기여를 하는가?

주요 결과

• OTFPF 네트워크는 비교 모델들 중에서 가장 낮은 평균 절대 오차(MAE) 2.097을 달성하여 높은 추정 정확도를 보였다.
• 모델은 피어슨 상관계수(PCC) 0.993과 스피어만 순위 상관계수(SRCC) 0.989를 기록하여 추정 연령과 실제 연령 간의 강력한 일치를 보였다.
• 제거 실험 결과, 최적 운반 임베딩(OTEM)을 제거하면 MAE가 2.211로 증가하여, 이 요소가 특징 융합에서 핵심적인 역할을 한다는 점을 확인했다.
• 성별 레이블을 제외하면 성능이 MAE 2.293로 떨어지며, 이는 성별 특화된 노화 패턴을 모델링하는 데 성별이 중요한 역할을 한다는 것을 입증한다.
• 3D OL-ConvNeXt를 표준 3D ConvNeXt로 대체하면 MAE가 2.718로 증가하여, 겹치는 컨볼루션 설계가 특징 추출에서 뛰어난 성능을 발휘한다는 것을 입증한다.
• 모델는 더 빠르게 수렴하며, 모든 지표에서 SFCN, GLTN, TSAN을 능가하는 성능을 보이며, 테스트 데이터셋에서 새로운 최신 기술 수준(SOTA)을 확립했다.