[論文レビュー] Deriving Neural Network Architectures using Precision Learning: Parallel-to-fan beam Conversion

Christopher Syben, Bernhard Stimpel+4 more|arXiv (Cornell University)|Jul 9, 2018

Advanced MRI Techniques and Applications参考文献 7被引用数 4

ひとこと要約

本稿では、ハイブリッドMRI/X線画像撮影における平行ビームから扇形ビームへの変換に、精度学習に基づくニューラルネットワークを提案する。補間に依存する再ビニングを、微分可能で畳み込みベースのフィルタ学習手法に置き換える。合成データから、投影に依存する・しないフィルタを学習することで、解像度の損失を回避し、最小限の可学習パラメータでよりシャープな画像を実現する。

ABSTRACT

In this paper, we derive a neural network architecture based on an analytical formulation of the parallel-to-fan beam conversion problem following the concept of precision learning. The network allows to learn the unknown operators in this conversion in a data-driven manner avoiding interpolation and potential loss of resolution. Integration of known operators results in a small number of trainable parameters that can be estimated from synthetic data only. The concept is evaluated in the context of Hybrid MRI/X-ray imaging where transformation of the parallel-beam MRI projections to fan-beam X-ray projections is required. The proposed method is compared to a traditional rebinning method. The results demonstrate that the proposed method is superior to ray-by-ray interpolation and is able to deliver sharper images using the same amount of parallel-beam input projections which is crucial for interventional applications. We believe that this approach forms a basis for further work uniting deep learning, signal processing, physics, and traditional pattern recognition.

研究の動機と目的

• ハイブリッドMRI/X線画像撮影における、従来の1本ずつの線分補間による再ビニングにおける解像度損失を解消すること。
• 既知の物理的演算子を統合した解析的信号処理モデルに基づくニューラルネットワークアーキテクチャを構築し、パラメータ数を削減すること。
• 追加のハードウェアを用いずに、効率的でコンactなフィルタを学習することで、高フレームレートの画像診断を可能にすること。
• データ駆動型フィルタ学習が、従来の再ビニングを上回りながらも画像のシャープネスを維持できるかを検証すること。
• 深層学習、物理ベースのモデリング、信号処理を統合する医療画像処理の基盤を構築すること。

提案手法

• 平行ビームから扇形ビームへの変換を線形システムとして定式化し、既知の演算子（例：幾何的投影モデル）をネットワークに埋め込むことで未知数を削減する。
• 精度学習パラダイムを用いてニューラルネットワークを導出する。この際、未知のフィルタ成分のみを学習対象とすることで、可学習パラメータ数を最小限に抑える。
• 2種類のフィルタを提案：投影に依存しないフィルタと、投影に依存するフィルタ。両者とも周波数ドメインにおける可学習畳み込みフィルタとして実装する。
• 合成MRI投影データ上で、エンドツーエンドにネットワークを訓練し、再構成誤差を最小化するための平均二乗誤差損失関数を用いる。
• 特に、振幅変動が大きい投影に依存しないフィルタの学習を安定化させるために、ガウス平滑化による正則化を適用する。
• システム行列の計算が高コストな逆行列演算を、周波数ドメインにおける学習済み効率的畳み込みフィルタに置き換える。

実験結果

リサーチクエスチョン

• RQ1 解析的定式化に基づいた平行ビームから扇形ビームへの変換問題から、データ駆動型ニューラルネットワークアーキテクチャを導出可能か？
• RQ2 物理的に情報に基づいたネットワークにおける未知演算子の学習は、必要なトレーニングサンプル数を削減し、再構成のシャープネスを向上させられるか？
• RQ3 学習済み畳み込みベースのフィルタは、従来の1本ずつの線分補間と比較して、画像解像度およびシャープネスの点で優れているか？
• RQ4 入力投影数の変化に伴い、投影に依存するフィルタと依存しないフィルタの形状と挙動はどのように変化するか？
• RQ5 リプシッツ連続性や対称性制約などの正則化戦略は、フィルタの安定性および一般化性能を向上させられるか？

主な発見

• 本手法は、補間による平滑化を回避することで、従来の再ビニングよりもシャープな画像を生成する。
• 同じ数の平行ビーム投影を用いても、本手法は優れた画像品質を達成する。これは、時間的に制限のある画像診断応用において極めて重要である。
• 投影に依存しないフィルタは、少ない投影数（例：5または7投影）の状況で、高振幅変動を示す。これは、トレーニングデータにおける周波数カバレッジに感受性があることを示唆している。
• 3および5投影の場合の投影に依存するフィルタはU字型のプロファイルを示し、低周波成分の抑制を示している。これは、より高速なMR撮影を可能にする可能性がある。
• ガウス平滑化正則化は、ℓ1またはℓ2ノルムによる重みや導関数の正則化よりも、より安定した学習と優れた結果をもたらした。
• 結果から、より良いフィルタ設計により、必要なk空間サンプリング点数をさらに削減可能であり、最適なサンプリング軌道の解析的同定が可能になる可能性がある。