[論文レビュー] MMFNet: A Multi-modality MRI Fusion Network for Segmentation of Nasopharyngeal Carcinoma

Huai Chen, Yuxiao Qi+6 more|arXiv (Cornell University)|Dec 25, 2018

Brain Tumor Detection and Classification参考文献 68被引用数 4

ひとこと要約

本稿では、鼻咽頭がん（NPC）の自動分類を向上させるために、T1、T2、対比効果強化T1 MRIモダリティを統合する3次元マルチエンコーダー融合ネットワークMMFNetを提案する。3次元-CBAMを用いた特徴再キャリブレーションと、バランスの取れた特徴融合を実現するリーマンス融合ブロックに加え、自己転送学習戦略を採用することで、高精度かつ時間効率の良いNPC分類を達成し、処理時間を手動分類の10〜20分から1患者あたり約9秒に短縮した。

ABSTRACT

Segmentation of nasopharyngeal carcinoma (NPC) from Magnetic Resonance Images (MRI) is a crucial prerequisite for NPC radiotherapy. However, manually segmenting of NPC is time-consuming and labor-intensive. Additionally, single-modality MRI generally cannot provide enough information for its accurate delineation. Therefore, a multi-modality MRI fusion network (MMFNet) based on three modalities of MRI (T1, T2 and contrast-enhanced T1) is proposed to complete accurate segmentation of NPC. The backbone of MMFNet is designed as a multi-encoder-based network, consisting of several encoders to capture modality-specific features and one single decoder to fuse them and obtain high-level features for NPC segmentation. A fusion block is presented to effectively fuse features from multi-modality MRI. It firstly recalibrates low-level features captured from modality-specific encoders to highlight both informative features and regions of interest, then fuses weighted features by a residual fusion block to keep balance between fused ones and high-level features from decoder. Moreover, a training strategy named self-transfer, which utilizes pre-trained modality-specific encoders to initialize multi-encoder-based network, is proposed to make full mining of information from different modalities of MRI. The proposed method based on multi-modality MRI can effectively segment NPC and its advantages are validated by extensive experiments.

研究の動機と目的

• 手動によるNPC分類の限界、すなわち時間消費と臨床医の専門知識依存を是正すること。
• 単一モダリティMRIでは、正確なNPCの輪郭抽出に必要な包括的な組織特性を捉えきれないという問題を克服すること。
• マルチモダリティMRIを効果的に統合し、NPCの3次元分類を向上させるエンドツーエンドのディープラーニングフレームワークを構築すること。
• マルチエンコーダー構造における特徴学習を向上させるために、事前学習済みのモダリティ固有エンコーダーを活用する、新しいトレーニング戦略「自己転送」を導入すること。
• マルチモダリティ統合が単一または二重モダリティアプローチに比べて、NPC分類性能において優れていることを検証すること。

提案手法

• MMFNetは、T1、T2、対比効果強化T1 MRIの各モダリティに特化した別個のエンコーダーを備えたマルチエンコーダーバックボーンを採用し、モダリティ固有の特徴を抽出する。
• 特徴統合ブロックは、3次元-CBAM（畳み込みブロック注意モジュール）を用いてチャネルおよび空間的注意を再キャリブレーションし、情報量の多い特徴と関心領域を強調する。
• リーマンス融合ブロック（RFBlock）は、3次元-CBAMで再重み付けされた特徴と高レベルのデコーダー特徴を組み合わせることで、特徴のバランスを維持し、空間的文脈を保持する。
• 自己転送学習戦略により、3つの事前学習済みモダリティ固有エンコーダー・デコーダー・ネットワークから知識を転送することで、マルチエンコーダー・ネットワークの初期化が行われる。
• ネットワーク全体に3次元畳み込み層を採用することで、完全な3次元特徴学習が可能となり、スライス間の空間的関係が保持される。
• デコーダー経路は、マルチエンコーダー特徴からのスキップ接続を用いてセグメンテーションマスクを再構築し、正確な境界局所化を実現する。

実験結果

リサーチクエスチョン

• RQ1 T1、T2、対比効果強化T1 MRIモダリティの統合は、単一モダリティアプローチと比較して、NPC分類の精度を顕著に向上させるか？
• RQ2 提案された3次元-CBAMおよびリーマンス融合ブロックは、マルチモダリティ統合における特徴表現の向上とノイズ低減にどの程度効果的か？
• RQ3 自己転送学習戦略は、NPC分類におけるマルチエンコーダー・ネットワークの収束性と分類性能を向上させるか？
• RQ4 2次元スライスベース手法と比較して、3次元特徴の使用が、NPC輪郭抽出における解剖的文脈をどの程度効果的に捉えられるか？
• RQ5 NPC分類における最適なMRIモダリティの組み合わせは何か？3つのすべて（T1、T2、CET1）を含めると最良の結果が得られるか？

主な発見

• MMFNetは、U-Net、3D U-Net、および他のマルチモダリティ手法と比較して優れた分類性能を示し、NPC分類分野で最先端の精度を達成した。
• T1、T2、対比効果強化T1の3つのMRIモダリティの併用が、最高の分類結果をもたらし、マルチモダリティ統合の価値を裏付けた。
• 複数のMLPとstd-pooling統合を備えた3次元-CBAMが最高のパフォーマンスを発揮した。これは、多様なグローバル特徴分布を効果的に捉えられることを示している。
• 自己転送学習戦略は、評価されたすべての構成において分類指標を顕著に向上させ、マルチエンコーダー・ネットワークの初期化に有効であることを確認した。
• MMFNetは、1患者あたりのNPC分類処理時間を約9秒に短縮し、手動分類（10〜20分）と比較して顕著な改善を実現した。
• 可視化結果から、トレーニング中に注目マップが動的に腫瘍領域に集中しており、誤検出の低減と局所化精度の向上が確認された。