[論文レビュー] $Σ$-net: Ensembled Iterative Deep Neural Networks for Accelerated Parallel MR Image Reconstruction

Jo Schlemper, Chen Qin+3 more|arXiv (Cornell University)|Dec 11, 2019

Advanced MRI Techniques and Applications参考文献 15被引用数 9

ひとこと要約

本論文では、複数のネットワークアーキテクチャ—並列コイルネットワーク（PCNs）と感度ネットワーク（SNs）—と多様なデータ整合性メカニズムを組み合わせた、高速化された並列MRI再構成を目的としたアンサンブル反復的ディープラーニングフレームワーク、Σ-netを提案する。教師ありおよび半教師あり微調整で訓練されたモデルの結果を統合し、感度重み付きリファレンスと対応させるためにスタイル変換層を導入することで、視覚的品質と定量的性能の両立を図り、最先端のSSIMスコアを達成した。

ABSTRACT

We explore an ensembled $Σ$-net for fast parallel MR imaging, including parallel coil networks, which perform implicit coil weighting, and sensitivity networks, involving explicit sensitivity maps. The networks in $Σ$-net are trained in a supervised way, including content and GAN losses, and with various ways of data consistency, i.e., proximal mappings, gradient descent and variable splitting. A semi-supervised finetuning scheme allows us to adapt to the k-space data at test time, which, however, decreases the quantitative metrics, although generating the visually most textured and sharp images. For this challenge, we focused on robust and high SSIM scores, which we achieved by ensembling all models to a $Σ$-net.

研究の動機と目的

• 高速化された並列MRI再構成における高い定量的性能（SSIM、NMSE）を達成する一方で、視覚的品質を維持すること。
• ディープラーニングベースのMRI再構成における定量的指標と視覚的認識の乖離を克服すること。
• 異なるアーキテクチャとトレーニング戦略を持つ複数のモデルをアンサンブル化することで、耐性を向上させること。
• RSSベースの評価と感度重み付き真値との間のコントラスト不一致を、スタイル変換層を用いて軽減すること。
• 定量的スコアを損なわずにテスト時k-spaceデータへの適応を可能にする半教師あり微調整スキームを実装すること。

提案手法

• 並列コイルネットワーク（PCNs）を用いて暗黙的なコイル重み付けを実装し、感度ネットワーク（SNs）を用いて明示的なコイル感度マップを推定する複数のネットワークアーキテクチャを訓練する。
• 反復最適化スキームに統合された3つのデータ整合性戦略を実装する：近接写像（PM）、勾配降下（GD）、変数分割（VS）。
• 解剖的領域に焦点を当てるために、前景マスクを用いたSSIMとℓ₁損失の組み合わせを用いた教師ありトレーニングを実施する。
• テクスチャとシャープネスを向上させるために、選択されたモデルに最小二乗GAN（LSGAN）損失を用いた微調整を適用する。
• 初期再構成を事前分布として用い、データ整合性誤差を最小化すると同時にSSIMを保持する半教師あり微調整スキームを適用する。
• SN出力のコントラストをRSSに類似させるために、スタイル変換層（STL）を導入し、チャレンジの評価基準と一致させる。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャとトレーニング戦略を持つ複数のディープラーニングモデルをアンサンブル化することで、高速化された並列MRI再構成における耐性と定量的性能が向上するか？
• RQ2 半教師あり微調整は、MRI再構成における視覚的品質と定量的指標にどのように影響を与えるか？
• RQ3 RSSベースの評価と感度重み付き真値との間のコントラスト不一致が、モデル性能に及ぼす影響はどの程度か？
• RQ4 スタイル変換層を用いることで、RSS評価基準と感度結合リファレンスのギャップを効果的に埋め合わせられ、再構成品質を損なわずに済ませられるか？
• RQ5 SNsにおける明示的なコイル感度マップの使用は、PCNsにおける暗黙的コイル重み付けに比べて優れた性能をもたらすか？また、それらをアンサンブル化した場合、両者の性能はどのように比較されるか？

主な発見

• アンサンブル化されたΣ-netは、fastMRIバリデーションセットで最高のSSIMスコアを達成し、R=4では0.9205 ± 0.1234、R=8では0.8917 ± 0.1317を記録した。
• 半教師あり微調整を施したGD-SN-FTモデルは、最もシャープでテクスチャ豊かな画像を生成したが、SSIMとNMSEスコアが最低であった。これは、視覚的品質と定量的指標の間のトレードオフを示している。
• PM-PCNモデルは、R=4でNMSEが0.0055 ± 0.0118、R=8で0.0091 ± 0.0150を達成し、強力な定量的性能を示した。
• スタイル変換層は、SN出力とRSSリファレンスとの間のコントラスト不一致を効果的に低減し、チャレンジの評価基準に適合させる改善をもたらした。
• 特に30% SN、20% PCN、50% SN-FTを組み合わせたモデルのアンサンブルが、すべての指標において最も耐性があり、最も高い性能を示した。
• 半教師あり微調整により視覚的テクスチャとノイズ特性が向上したが、定量的スコアはわずかに低下した。これは、人間の認識と標準指標との間の乖離を強調している。