[論文レビュー] Block stochastic gradient descent for large-scale tomographic reconstruction in a parallel network

Yushan Gao, Ander Biguri+1 more|arXiv (Cornell University)|Mar 28, 2019

Medical Imaging Techniques and Applications参考文献 36被引用数 3

ひとこと要約

本稿では、限られたノード内ストレージを有する分散ネットワークにおける大規模トモグラフィック再構成のための並列的ロークション法として、ブロック確率的勾配降下法（BSGD）を提案する。各反復で画像のブロックのみを更新することで、確率的勾配と重要度サンプリングを用いることで、通信量を削減しつつ、SIRT、CAV、CSGDよりも収束が速く、精度が向上する。特にガウスノイズと全変動正則化の下で顕著な効果を示す。

ABSTRACT

Iterative algorithms have many advantages for linear tomographic image reconstruction when compared to back-projection based methods. However, iterative methods tend to have significantly higher computational complexity. To overcome this, parallel processing schemes that can utilise several computing nodes are desirable. Popular methods here are row action methods, which update the entire image simultaneously and column action methods, which require access to all measurements at each node. In large scale tomographic reconstruction with limited storage capacity of each node, data communication overheads between nodes becomes a significant performance limiting factor. To reduce this overhead, we proposed a row action method BSGD. The method is based on the stochastic gradient descent method but it does not update the entire image at each iteration, which reduces between node communication. To further increase convergence speeds, an importance sampling strategy is proposed. We compare BSGD to other existing stochastic methods and show its effectiveness and efficiency. Other properties of BSGD are also explored, including its ability to incorporate total variation (TV) regularization and automatic parameter tuning.

研究の動機と目的

• 分散コンピューティングを用いた大規模な反復的CT再構成における高い計算複雑性と通信オーバーヘッドに対処すること。
• 各反復で画像全体ではなく画像ブロックのみを更新することで、並列トモグラフィック再構成におけるノード間通信量を削減すること。
• ノード内ストレージ容量が限られた環境下でも、収束速度と再構成品質を向上させること。
• 分散フレームワーク内でスパースビューCT再構成に有効に全変動正則化を適用できること。
• スケーラビリティを備えた確率的最適化の効率性と組み合わせた、大規模で非標準的なCTスキャン軌道向けの手法を開発すること。

提案手法

• 各反復で投影データの部分集合と画像ブロックのみを処理するブロックワイズ確率的勾配降下法（BSGD）を提案し、画像全体の更新を最小限に抑える。
• より情報量の多い投影ブロックを優先するための重要度サンプリングを用い、収束を加速する。
• 3段階の反復的更新手順を採用する：(1)補助変数zによる残差追跡、(2)gを用いた勾配推定、(3)ステップサイズμを用いた画像更新x。
• AをM個の行ブロックとN個の列ブロックにブロックワイズに行列分割することで、部分的データアクセスを持つノード間での分散計算を可能にする。
• 目的関数を修正し、BSGD更新則に全変動（TV）正則化を統合することで、正則化を組み込む。
• 確率的サンプリングをモデル化し、収束が最小二乗解へ向かうように、ランダム化された対角投影行列R1、R2、R3を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブロックワイズ確率的勾配法は、収束速度に悪影響を与えることなく、分散大規模トモグラフィック再構成における通信オーバーヘッドを低減できるか？
• RQ2 確率的勾配法における均一サンプリングと比較して、BSGDにおける重要度サンプリングは収束をどのように改善するか？
• RQ3 ガウスノイズ下で、SIRT、CAV、CSGDと比較して、BSGDは再構成精度と速度でどの程度優れているか？
• RQ4 分散環境下で、BSGDはスパースビューCT再構成に全変動正則化を有効に統合できるか？
• RQ5 BSGDの理論的収束挙動は何か？固定点解析において、最小二乗解へ収束するか？

主な発見

• ガウスノイズ下の大規模CT再構成において、BSGDはSIRT、CAV、CSGDよりも収束が速く、再構成精度が優れている。
• BSGDにおける重要度サンプリングの導入により、均一サンプリング戦略に比べて収束が著しく加速される。
• BSGDは各反復で画像ブロックのみを更新することで、ノード内ストレージ容量が限られたシステムにおいても適した通信量削減を実現する。
• 全変動正則化を組み込んだBSGD（BSGD-TV）は、スパースビューデータからの画像再構成を効果的に行い、低線量CTシナリオにおいても頑健性を示す。
• 実験的結果は最小二乗解への収束を確認しており、理論的解析から最適解への収束が示唆されているが、形式的証明は未解決のままである。
• BSGDは、SVRG や ORBCDVD といった機械学習ベースの最適化手法よりも、CT再構成タスクにおける計算効率が優れている。