[論文レビュー] A Segmentation-aware Deep Fusion Network for Compressed Sensing MRI

Zhiwen Fan, Liyan Sun+4 more|arXiv (Cornell University)|Apr 4, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用数 7

ひとこと要約

本論文は、画像分類ラベルを活用して再構成精度を向上させる、圧縮感知MRIのためのセグメンテーションに配慮した深層融合ネットワークSADFNを提案する。クロスタスクおよびクロスレイヤー特徴融合を用いて、複数層のセグメンテーション特徴を再構成U-Netに統合することで、逆写像を単純化し、MRBrainSベンチマークで最先端の性能を達成するとともに、下流のセグメンテーション精度も向上させた。

ABSTRACT

Compressed sensing MRI is a classic inverse problem in the field of computational imaging, accelerating the MR imaging by measuring less k-space data. The deep neural network models provide the stronger representation ability and faster reconstruction compared with "shallow" optimization-based methods. However, in the existing deep-based CS-MRI models, the high-level semantic supervision information from massive segmentation-labels in MRI dataset is overlooked. In this paper, we proposed a segmentation-aware deep fusion network called SADFN for compressed sensing MRI. The multilayer feature aggregation (MLFA) method is introduced here to fuse all the features from different layers in the segmentation network. Then, the aggregated feature maps containing semantic information are provided to each layer in the reconstruction network with a feature fusion strategy. This guarantees the reconstruction network is aware of the different regions in the image it reconstructs, simplifying the function mapping. We prove the utility of the cross-layer and cross-task information fusion strategy by comparative study. Extensive experiments on brain segmentation benchmark MRBrainS validated that the proposed SADFN model achieves state-of-the-art accuracy in compressed sensing MRI. This paper provides a novel approach to guide the low-level visual task using the information from mid- or high-level task.

研究の動機と目的

• 既存のディープラーニングベースのCS-MRI手法が、MRI分類ラベルからの高レベルの意味的監視を無視しているという制限に対処すること。
• 異なる組織タイプ（GM、WM、CSF）からの意味的情報を低レベルの画像再構成プロセスに統合することで、再構成精度を向上させること。
• 分類ラベルに捉えられた組織特有の強度分布を活用することで、画像再構成における関数写像を単純化すること。
• 再構成品質が下流のセグメンテーションタスクに与える影響を評価し、意味的認識再構成の価値を示すこと。
• 分類から再構成へ知識を転送する新しいクロスタスク統合フレームワークを確立し、全体的な医療画像処理パイプラインを改善すること。

提案手法

• 二重スルーブックアーキテクチャを提案：組織ラベル付けのための分類ネットワークと、画像回復のための再構成U-Netを組み合わせ、クロスタスク特徴統合を実装。
• 多層特徴集約（MLFA）を採用し、分類ネットワークの複数層からの特徴を統合することで、階層的意味的情報を保持。
• 集約された分類特徴を再構成ネットワークの各残差ブロックに注入する特徴統合戦略を導入し、領域に配慮した学習を可能に。
• 再構成と分類の両ヘッドをエンドツーエンドで同時に学習する統合学習パラダイムを採用し、分類ヘッドが再構成ネットワークに監視信号を提供。
• 組織特有の強度分布の統計的性質（例：GM、WM、CSFにおける単一モード）を活用し、再構成関数写像を単純化。
• 再構成U-Netにマルチスケールスキップ接続設計を適用し、細かいディテールを保持すると同時に意味的ガイダンスの恩恵を受ける。

実験結果

リサーチクエスチョン

• RQ1 MRI分類ラベルからの高レベルの意味的監視が、圧縮感知MRI再構成の精度を向上させることができるか？
• RQ2 クロスレイヤーおよびクロスタスク特徴統合は、さまざまなアンダーサンプリングパターンにおける再構成品質と一般化性能にどのように影響するか？
• RQ3 セグメンテーションに配慮した特徴を統合することで、画像再構成関数写像の複雑さは低下するか？
• RQ4 標準的な再構成手法と比較して、提案手法が下流のセグメンテーション性能をどの程度向上させるか？
• RQ5 提案されたSADFNモデルは、既存のディープラーニングベースのCS-MRI手法と比較して、再構成精度と推論速度のバランスをより良く達成できるか？

主な発見

• SADFNはMRBrainSベンチマークで最先端の再構成性能を達成し、PSNRおよびSSIMの両面で既存のディープラーニングベースのCS-MRIモデルを上回った。
• 20%アンダーサンプリング条件下でテストセットにおいて平均PSNR 32.15 dB、SSIM 0.921を達成し、2番目に良い手法（Liu[26]）と比較してPSNRで0.45 dB優れた性能を示した。
• 下流のセグメンテーションタスクにおいて、灰白質（GM）で85.76%、白質（WM）で81.29%、脳脊髄液（CSF）で80.08%のDice係数を達成し、GMおよびWMではフルサンプリング入力のベースラインを上回った。
• 再構成誤差マップから、SADFNはアーティファクトを少なくし、特に組織境界部の微細構造をよりよく保持していることが明らかになった。
• 20%カーテシアンおよび20%ランダムアンダーサンプリングパターンの両方で最適な性能を発揮し、優れた一般化能力を示した。
• 一部のSOTAモデルよりわずかに長い推論時間（0.06秒）であったが、再構成品質と計算効率のバランスが最も優れていた。