[論文レビュー] A fully 3D multi-path convolutional neural network with feature fusion and feature weighting for automatic lesion identification in brain MRI images

Yunzhe Xue, Meiyan Xie+6 more|arXiv (Cornell University)|Jul 17, 2019

Advanced Neural Network Applications参考文献 27被引用数 5

ひとこと要約

本論文は、モダリティ固有のエンコーダー、重み付き特徴融合、および適応的特徴重み付けを備えた完全3次元マルチパス畳み込みニューラルネットワークを提案し、脳MRIにおける自動病変検出を向上させる。KES+MCWでは65.1%、ATLASでは60.5%のDiceスコアを達成し、特に小規模で検出が困難な病変において、3D U-Net、DeepMedic、AnatomyNetを顕著に上回る。

ABSTRACT

We propose a fully 3D multi-path convolutional network to predict stroke lesions from 3D brain MRI images. Our multi-path model has independent encoders for different modalities containing residual convolutional blocks, weighted multi-path feature fusion from different modalities, and weighted fusion modules to combine encoder and decoder features. Compared to existing 3D CNNs like DeepMedic, 3D U-Net, and AnatomyNet, our networks achieves the highest statistically significant cross-validation accuracy of 60.5% on the large ATLAS benchmark of 220 patients. We also test our model on multi-modal images from the Kessler Foundation and Medical College Wisconsin and achieve a statistically significant cross-validation accuracy of 65%, significantly outperforming the multi-modal 3D U-Net and DeepMedic. Overall our model offers a principled, extensible multi-path approach that outperforms multi-channel alternatives and achieves high Dice accuracies on existing benchmarks.

研究の動機と目的

• 3次元脳MRIスキャンにおける小規模で識別が難しい脳卒中病変（特に1000mm³未満）の検出という課題に対処すること。
• マルチモodal MRIデータを活用するための専用マルチパスアーキテクチャを用いることで、モダリティをチャネルとして積み重ねるのではなく、モダリティ固有の表現を保持する。
• アップサンプリング特徴量と統合特徴量の寄与をバランスさせる新しい特徴重み付け機構を導入し、小規模病変における性能を向上させること。
• 既存の3次元CNNを凌駕する、原理的かつ拡張性のある3次元ディープラーニングフレームワークを、公的および臨床的MRIベンチマークで開発すること。

提案手法

• MRIモダリティ（例：T1、T2、FLAIR）ごとに別々の3次元畳み込みエンコーダーを用い、モダリティ固有の表現を保持する。
• 特徴量統合は、重要度に応じてチャネルの重みを動的に調整する squeeze-and-excitation (SE) ブロックを用いたカスタムモジュールにより実施する。
• 拡大重み付け（AW）機構により、アップサンプラー特徴量の寄与を増加させ、融合モジュールの出力スケールをバランスさせ、小規模病変の学習を改善する。
• ReLU-Onlyプレアクティベーション変種では、残差ブロック内で正規化と非線形関数の順序を再配置し、特徴量の大きさのバランスを安定化させ、勾配の不均衡を軽減する。
• 3次元畳み込みを全般に使用するU-Netに類似したアーキテクチャを採用し、エンコーダーとデコーダーブロック間にスキップ接続を設ける。
• 入力画像はスキャン単位で正規化（zスコア）され、データ増強としてフリップを適用して、有効なモダリティ多様性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 各MRIモダリティに別々のエンコーダーを備えたマルチパス3次元CNNは、モダリティをチャネルとして積み重ねる単一パスのマルチチャネルアプローチに比べ、病変セグメンテーション精度で優れているか？
• RQ2 重み付き特徴融合および適応的特徴重み付け機構は、3次元脳MRIにおける小規模で低体積の病変の検出を向上させられるか？
• RQ3 本研究で提案するモデルは、3D U-Net、DeepMedic、AnatomyNetといった最先端の3次元CNNと比較して、公的および臨床的MRIデータセットで優れた性能を示すか？
• RQ4 特にセグメンテーションが困難な病変において、提案された重み付け機構による性能向上は統計的に有意であるか？
• RQ5 FLOPSおよびパラメータ数で測定した場合、アーキテクチャの複雑さにもかかわらず、本モデルは高い効率性を維持しているか？

主な発見

• KES+MCWデータセットでは、SE+AWバージョンが65.1%のDiceスコアを達成し、3D U-Net（60.8%）をp値0.0016で顕著に上回った。
• ATLASベンチマークでは、モデルが60.5%のDiceスコアを達成し、AnatomyNet（56.1%）および3D U-Netをp値10^-6で上回り、強い統計的有意性を示した。
• 最も小さな25%の病変（体積<1000mm³）では、ATLASで41.4%のDiceスコアを達成し、次に優れた手法（AnatomyNet：34.1%）より7%の向上を達成し、p=0.004であった。
• ReLU-Only変種により、特徴量の大きさのバランスが改善され、融合出力とアップサンプラー出力の比が30–100倍から10–30倍に低下し、残差ブロック内の勾配問題が緩和された。
• パッチベースでないモデルの中で最高のFLOPS効率を達成し、10.77億FLOPSのAnatomyNetよりも顕著に低い10.3億FLOPSを記録したが、精度はより高かった。
• フリップ画像を第二のモダリティとして使用することで、ATLASにおけるDiceスコアが基本版の56.3%から58.4%に上昇し、マルチパス学習におけるデータ増強の有効性を示した。