[論文レビュー] Async-RED: A Provably Convergent Asynchronous Block Parallel Stochastic Method using Deep Denoising Priors

Yu Sun, Jiaming Liu+3 more|arXiv (Cornell University)|May 3, 2021

Sparse and Compressive Sensing Techniques参考文献 65被引用数 5

ひとこと要約

本稿では、大規模な逆問題を解くために、事前学習済みの深層ノイズ除去器を画像の事前知識として統合する、証明可能に収束する非同期ブロック並列確率的最適化手法であるAsync-REDを提案する。ランダムサブセットサンプリングと理論的収束保証を可能にすることで、非同期処理を実現し、逐次的RED手法と比較して著しく高速な収束を達成しながら、最先端の画像復元性能を維持する。

ABSTRACT

Regularization by denoising (RED) is a recently developed framework for solving inverse problems by integrating advanced denoisers as image priors. Recent work has shown its state-of-the-art performance when combined with pre-trained deep denoisers. However, current RED algorithms are inadequate for parallel processing on multicore systems. We address this issue by proposing a new{asynchronous RED (Async-RED) algorithm that enables asynchronous parallel processing of data, making it significantly faster than its serial counterparts for large-scale inverse problems. The computational complexity of Async-RED is further reduced by using a random subset of measurements at every iteration. We present a complete theoretical analysis of the algorithm by establishing its convergence under explicit assumptions on the data-fidelity and the denoiser. We validate Async-RED on image recovery using pre-trained deep denoisers as priors.

研究の動機と目的

• 大規模な逆問題に対する既存の正則化によるノイズ除去（RED）アルゴリズムにおける並列処理の非効率性を解消すること。
• マルチコアシステム上でデータを非同期ブロック並列処理することで、計算速度を向上させること。
• 各イテレーションで測定値のランダムサブセットをサンプリングすることで、計算複雑度を低減すること。
• データ適合性とノイズ除去器の挙動に関する明確な仮定の下で、提案手法の理論的収束を確立すること。
• 事前学習済みの深層ノイズ除去器を事前知識として用いた画像復元タスクにおける手法の有効性を検証すること。

提案手法

• 複数のデータブロックを独立して処理し、同期なしに更新する非同期ブロック並列最適化フレームワークを提案する。
• 各イテレーションで測定値のランダムサブセットを用いた確率的更新を導入し、計算負荷を低減する。
• REDフレームワーク内に深層ノイズ除去器を画像の事前知識として採用し、高品質な正則化を実現する。
• データ適合性項とノイズ除去器の挙動に関する明確な仮定（有界性と連続性を含む）の下で収束保証を導出する。
• 各プロセッサが変数のサブセットを処理し、非同期に更新を通信するブロックワイズ更新戦略を採用する。
• リャプノフ関数に基づく解析を用いて、緩い仮定のもとで定常点への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 非同期並列処理をREDフレームワークに効果的に統合することで、大規模な逆問題の解法を高速化できるか？
• RQ2 各イテレーションで測定値のランダムサブセットを用いることで、計算コストを削減しながらも収束性を維持できるか？
• RQ3 提案されたAsync-REDアルゴリズムが、どのような仮定の下で定常解に収束するか？
• RQ4 速度と再構成品質の観点から、Async-REDは逐次的REDと比較してどのように性能を発揮するか？
• RQ5 事前学習済みの深層ノイズ除去器を、非同期かつ確率的最適化設定で効果的に活用できるか？

主な発見

• データ適合性とノイズ除去器に関する明確な仮定の下で、Async-REDは証明可能な収束性を示し、非同期設定への理論的保証を拡張する。
• マルチコアアーキテクチャ上での非同期並列処理を活用することで、逐次的REDと比較して顕著な高速化を達成する。
• 測定値のランダムサブセットを用いることで、各イテレーションの計算複雑度を低減しながらも、収束性や再構成品質を損なわない。
• 実験結果により、事前学習済みの深層ノイズ除去器と組み合わせたAsync-REDが、最先端の画像復元性能を実現することが示された。
• 各イテレーションの計算量を削減しても、高い再構成忠実度を維持できるため、大規模問題に適した手法である。