[論文レビュー] Highly Scalable Image Reconstruction using Deep Neural Networks with Bandpass Filtering

Joseph Y. Cheng, Feiyu Chen+3 more|arXiv (Cornell University)|May 8, 2018

Advanced MRI Techniques and Applications参考文献 36被引用数 33

ひとこと要約

本稿では、高次サンプリングされたk空間データからの高スケーラビリティを実現するバンドパスフィルタリングに基づく深層ニューラルネットワークアーキテクチャを提案する。局所的パッチ処理を用いてk空間ドメインで畳み込みネットワークを直接適用し、画像モデルを介してデータ整合性を強制することで、測定済みデータを保持しつつ、並列処理と多次元MRIデータセット全体にわたるスケーラビリティを実現する高速かつ高精度な再構成が達成される。

ABSTRACT

To increase the flexibility and scalability of deep neural networks for image reconstruction, a framework is proposed based on bandpass filtering. For many applications, sensing measurements are performed indirectly. For example, in magnetic resonance imaging, data are sampled in the frequency domain. The introduction of bandpass filtering enables leveraging known imaging physics while ensuring that the final reconstruction is consistent with actual measurements to maintain reconstruction accuracy. We demonstrate this flexible architecture for reconstructing subsampled datasets of MRI scans. The resulting high subsampling rates increase the speed of MRI acquisitions and enable the visualization rapid hemodynamics.

研究の動機と目的

• 従来のCNNがk空間ドメインの測定に適用される場合に示すデータ整合性の欠如や、スケーラビリティの低さといった限界を解消すること。
• 固定された画像次元での学習と推論の課題を、局所的パッチを用いた測定（k空間）ドメインでの直接処理により克服すること。
• 再構成を独立したk空間パッチに分解することで、並列化可能な効率的でスケーラブルな学習と推論を実現するとともに、グローバルなデータ整合性を維持すること。
• ネットワークアーキテクチャに物理的画像化モデルを統合することで、高次サンプリング因子（8×以上）でも高い再構成精度を維持すること。
• 非カルテシアンおよびウェーブエンコードされたサンプリング軌道を含む、さまざまなMRI取得技術に適応可能な柔軟なフレームワークを提供すること。

提案手法

• 本手法はk空間データの局所的パッチを周波数ドメインそのままで処理し、ネットワーク推論中に画像ドメインへの変換を回避する。
• 深層畳み込みニューラルネットワーク（ConvNet）を、測定済みのコイル感度マップを含む画像モデル（インダクティブバイアス）を用いて、部分的にサンプリングされた入力から完全にサンプリングされたk空間パッチを予測するように学習する。
• ネットワーク出力を元のk空間再構成に再挿入することで、最終的な画像が元の測定済みデータと整合するようにデータ整合性ステップを実施する。
• 各k空間パッチを独立して処理することで、メモリおよび計算のボトル neck を顕著に軽減するため、並列処理が可能となる。
• 随伴作用素Aᴴを介して画像モデルを統合することで、ネットワークが物理的取得プロセスから学習しつつも柔軟性を維持できる。
• 入力および出力の複素数データチャネル数をそのままで保持するため、推定サンプルを直接元の測定値に置き換えることでデータ適合性を強制できる。

実験結果

リサーチクエスチョン

• RQ1 測定済みMRI取得データとのデータ整合性を保ちつつ、k空間ドメインで直接処理が可能な深層ニューラルネットワークアーキテクチャを設計できるか？
• RQ2 測定ドメインでのパッチベース処理は、深層学習ベースのMRI再構成におけるスケーラビリティと並列処理をどのように向上させるか？
• RQ3 周波数帯域固有の特徴を明示的にモデル化しないまま、1つの共有ConvNetが多様なk空間領域に一般化できる程度はどの程度か？
• RQ4 提案されたバンドパスネットワークは、圧縮センシングと同等の再構成精度を達成できるか？ さらに、はるかに高速かつスケーラブルであるか？
• RQ5 非カルテシアンサンプリング軌道（例：ウェーブエンコードド画像）への一般化性は、アーキテクチャの大規模な変更なしにどの程度達成できるか？

主な発見

• バンドパスネットワークは、特に微細な解剖的特徴や画像のシャープネスを回復する点で、最先端の圧縮センシング手法と同等の画像再構成品質を達成した。
• 本手法は、波エンコードされた高次サンプリングk空間データ（サンプリング要因3.2）から2次元T2強調画像を再構成し、視覚的品質が圧縮センシングの基準値と一致した。
• 最終的な再構成画像が元の測定済みk空間サンプルと一致することにより、データ整合性が確保され、実際の測定から逸脱することを防いだ。
• 独立したk空間パッチを処理することで、従来のパッチベースの画像ドメインネットワークと比較して、計算スケーラビリティが顕著に向上した並列化可能な推論が実現された。
• ノイズやアーチファクトに対して頑健であり、拡大された画像領域（例：図10の矢印）で微細構造の回復が顕著に向上した。
• グリッド化を含む画像モデル作用素を変更することで、非カルテシアンサンプリングにも適応可能であることが示され、カルテシアン軌道を超える幅広い応用の可能性を示した。