[論文レビュー] OTFPF: Optimal Transport-Based Feature Pyramid Fusion Network for Brain Age Estimation with 3D Overlapped ConvNeXt

Fu Yu, Yanyan Huang+7 more|arXiv (Cornell University)|May 10, 2022

Brain Tumor Detection and Classification被引用数 4

ひとこと要約

本稿では、3D T1強調MRIを用いた脳年齢推定のためのエンドツーエンドディープラーニングフレームワークであるOTFPFを提案する。最適輸送に基づく特徴ピラミッド統合、3D被覆ConvNeXt、マルチパスウェイ特徴統合を統合し、半マルチモodalおよびマルチスケール特徴学習を向上させる。11,728名の被験者（年齢3–97歳）において、平均絶対誤差（MAE）2.097、ピアソン相関（PCC）0.993、スピアマン順位相関（SRCC）0.989という最先端の性能を達成した。

ABSTRACT

Chronological age of healthy brain is able to be predicted using deep neural networks from T1-weighted magnetic resonance images (T1 MRIs), and the predicted brain age could serve as an effective biomarker for detecting aging-related diseases or disorders. In this paper, we propose an end-to-end neural network architecture, referred to as optimal transport based feature pyramid fusion (OTFPF) network, for the brain age estimation with T1 MRIs. The OTFPF consists of three types of modules: Optimal Transport based Feature Pyramid Fusion (OTFPF) module, 3D overlapped ConvNeXt (3D OL-ConvNeXt) module and fusion module. These modules strengthen the OTFPF network's understanding of each brain's semi-multimodal and multi-level feature pyramid information, and significantly improve its estimation performances. Comparing with recent state-of-the-art models, the proposed OTFPF converges faster and performs better. The experiments with 11,728 MRIs aged 3-97 years show that OTFPF network could provide accurate brain age estimation, yielding mean absolute error (MAE) of 2.097, Pearson's correlation coefficient (PCC) of 0.993 and Spearman's rank correlation coefficient (SRCC) of 0.989, between the estimated and chronological ages. Widespread quantitative experiments and ablation experiments demonstrate the superiority and rationality of OTFPF network. The codes and implement details will be released on GitHub: https://github.com/ZJU-Brain/OTFPF after final decision.

研究の動機と目的

• T1、灰色画質、白色画質のMRIから得られるマルチスケールおよび半マルチモダル特徴を活用することで、脳年齢推定の精度を向上させること。
• 既存のモデルが特徴の階層を十分に活用せず、マルチモーダル入力を最適に統合できないという限界を是正すること。
• 最適輸送を用いた構造的特徴統合を統合したエンドツーエンドアーキテクチャを構築し、収束速度を向上させること。
• 生物学的性別が脳年齢予測において重要なモダリティであることを検証すること。
• 最新の最先端モデルと比較して、精度および学習効率の両面で優れた性能を示すことを実証すること。

提案手法

• OTFPFネットワークはマルチパスウェイアーキテクチャを採用：T1 MRI用の1つのバックボーン、灰色画質および白色画質画像用の2つのブランチ、および性別ラベル用の別途パス。
• 計算コストを低減し、局所的特徴を効果的に捉えるために、3D被覆ConvNeXt（3D OL-ConvNeXt）モジュールを用いて階層的特徴を抽出する。
• 最適輸送に基づく特徴ピラミッド統合（OTFPF）モジュールは、最適輸送埋め込みを用いて、複数のスケールの特徴を構造的で微分可能な特徴アライメントとして学習することで、複数のパスウェイ間の特徴統合を実現する。
• 統合モジュールは4段階の段階的統合を経て、段階的に半マルチモダル特徴とバックボーンパスウェイを統合し、表現を豊かにする。
• アーキテクチャはエンドツーエンドで学習可能であり、平均絶対誤差（MAE）および相関ベースの指標により損失を最小化する。
• アブレーションスタディにより、性別ラベル、OTEM、3D OL-ConvNeXt設計の各成分の寄与が検証されている。

実験結果

リサーチクエスチョン

• RQ1 最適輸送に基づく特徴統合は、脳年齢推定におけるマルチスケールおよび半マルチモダル特徴の統合を改善できるか？
• RQ2 3D被覆ConvNeXtアーキテクチャは、標準の3D ConvNeXtと比較して、脳の形態的パターンをどれほど効果的に捉えられるか？
• RQ3 生物学的性別が推定精度の向上に果たす貢献は何か？
• RQ4 マルチパスウェイ特徴の共同最適化によるエンドツーエンド学習は、収束速度の向上と性能の向上をもたらすか？
• RQ5 OTEMやFPFNのようなアーキテクチャ的要素は、モデルの頑健性および精度にどのように寄与するか？

主な発見

• OTFPFネットワークは、比較対象のすべてのモデルの中で最も低いMAE 2.097を達成し、高い推定精度を示した。
• ピアソン相関係数（PCC）0.993およびスピアマン順位相関係数（SRCC）0.989を達成し、推定年齢と履歴年齢の間の強い一致を示した。
• アブレーションスタディにより、最適輸送埋め込み（OTEM）を除外するとMAEが2.211に上昇し、特徴統合におけるその重要性が確認された。
• 性別ラベルを除外すると性能はMAE 2.293に低下し、性別特有の老化パターンをモデル化する上でその重要性が裏付けられた。
• 3D OL-ConvNeXtを標準の3D ConvNeXtに置き換えるとMAEは2.718に上昇し、被覆畳み込み設計が特徴抽出において優れていることが証明された。
• モデルは収束が早く、SFCN、GLTN、TSANと比較して全指標で優れた性能を示し、テストデータセット上で新たな最先端性能を確立した。