[論文レビュー] Fast PET reconstruction using Multi-scale Fully Convolutional Neural Networks

Jieqing Jiao, Sébastien Ourselin|arXiv (Cornell University)|Apr 24, 2017

Medical Imaging Techniques and Applications参考文献 2被引用数 13

ひとこと要約

本稿では、穴あき畳み込みと周期的シャッフルを用いて、効率的で解像度を保持するダウンスケーリングおよびアップスケーリングを実現することで、高速で高品質なPET画像再構成を実現するマルチスケール完全畳み込みニューラルネットワーク（msfCNN）を提案する。シミュレートされたデータで訓練されたmsfCNNは、1フレームあたり1秒未満で再構成可能であり、OSEMよりも30倍以上高速でありながら、腫瘍学的および神経変性疾患画像診断において反復的手法と同等の画像品質を達成している。

ABSTRACT

Reconstruction of PET images is an ill-posed inverse problem and often requires iterative algorithms to achieve good image quality for reliable clinical use in practice, at huge computational costs. In this paper, we consider the PET reconstruction a dense prediction problem where the large scale contextual information is essential, and propose a novel architecture of multi-scale fully convolutional neural networks (msfCNN) for fast PET image reconstruction. The proposed msfCNN gains large receptive fields with both memory and computational efficiency, by using a downscaling-upscaling structure and dilated convolutions. Instead of pooling and deconvolution, we propose to use the periodic shuffling operation from sub-pixel convolution and its inverse to scale the size of feature maps without losing resolution. Residual connections were added to improve training. We trained the proposed msfCNN model with simulated data, and applied it to clinical PET data acquired on a Siemens mMR scanner. The results from real oncological and neurodegenerative cases show that the proposed msfCNN-based reconstruction outperforms the iterative approaches in terms of computational time while achieving comparable image quality for quantification. The proposed msfCNN model can be applied to other dense prediction tasks, and fast msfCNN-based PET reconstruction could facilitate the potential use of molecular imaging in interventional/surgical procedures, where cancer surgery can particularly benefit.

研究の動機と目的

• 反復的PET再構成手法の高い計算コストが、術中イメージングなどのリアルタイム臨床現場での利用を制限していることに対処する。
• ノイズモデルの不備によりノイズやストリークアーチファクトを引き起こす分析的手法（例えばFBP）の限界を克服する。
• PET再構成を密度予測問題として扱う深層学習アプローチを構築し、大規模な文脈的情報を活用する。
• 特徴マップのスケーリング中に空間的解像度を保持するメモリおよび計算コストに優れたアーキテクチャを設計する。
• 介入的および手術手技への統合に適した、高速かつ正確なPET再構成を可能にする。

提案手法

• 受容 field を拡大するがパrameter数や計算コストを増加させない穴あき畳み込みを用いるマルチスケール完全畳み込みニューラルネットワーク（msfCNN）を提案する。
• プーリングとデコンボリューションの代わりに、サブピクセル畳み込みから着想を得た周期的シャッフル操作を用いて、解像度損失なしに特徴マップをダウンスケーリングおよびアップスケーリングする。
• 深層アーキテクチャにおける学習の安定化と勾配の流れの改善のため、残差接続を統合する。
• 逆ラドン変換を用いて生のシノグラムデータを画像空間に投影し、パラメータ集約の大きな全結合層を回避する。
• スキャナ固有のモデリングを含まないシミュレートされたPETデータ上で、平均二乗誤差損失を用いてmsfCNNをエンドツーエンドで訓練する。
• 訓練済みモデルをシーメンス mMR スキャナからの実臨床PETデータに適用し、高速化のため2次元軸断層スライスを独立して再構成する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール文脈的モデリングを備えた完全畳み込みニューラルネットワークは、反復的手法よりも高速にPET画像を再構成可能であり、診断可能な画像品質を維持できるか？
• RQ2 プーリングとデコンボリューションを周期的シャッフルに置き換えることで、PET再構成における空間的解像度が保持され、ぼやけが軽減されるか？
• RQ3 スキャナ固有のモデリングなしに、シミュレートされたデータで訓練されたモデルが、実臨床PETスキャンに十分に一般化できるか？
• RQ4 msfCNNは、がん手術における術中腫瘍評価などのリアルタイム応用に十分な速度を達成できるか？
• RQ5 穴あき畳み込みと残差接続の再構成精度および学習安定性への影響は何か？

主な発見

• msfCNNは、Tesla K40c GPU上で29フレームの[18F]florbetapir PETスキャンを54秒で再構成した。一方OSEMは1フレームあたり約1分を要するため、30倍の高速化が達成された。
• msfCNNは2次元軸断層スライスあたり約15ミリ秒の再構成時間を達成し、臨床応用におけるリアルタイム実現可能性を示した。
• アルツハイマー病患者の158脳領域におけるtracer取り込み値は、msfCNNとOSEM再構成で高い相関（r = 0.9503）を示した。
• msfCNNは[18F]cholineスキャンにおいても腫瘍境界を効果的に回復し、2次元で動作しているにもかかわらず、OSEM再構成と同等の診断品質を達成した。
• msfCNNは計算効率をOSEMを上回りながら、定量的評価および腫瘍検出において同等の画像品質を維持した。
• 周期的シャッフルにより解像度損失が生じなかったため、従来の転置畳み込みベースのアップサンプリングに比べ、よりシャープな再構成が得られた。