[論文レビュー] A Local Block Coordinate Descent Algorithm for the Convolutional Sparse Coding Model

Ev Zisselman, Jeremias Sulam+1 more|arXiv (Cornell University)|Nov 1, 2018

Sparse and Compressive Sensing Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、畳み込みスパースコーディング（CSC）のための新規アルゴリズムであるローカル・ブロック座標降下法（LoBCoD）を提案する。この手法は、画像の局所的パッチに局所的に作用するブロック座標降下法を用い、補助変数やADMMパラメータを不要にすることで、高速な収束と低いメモリ使用量を実現する。画像補完およびマルチフォーカス融合において、周波数領域のADMM手法よりも最先端の性能を達成する。

ABSTRACT

The Convolutional Sparse Coding (CSC) model has recently gained considerable traction in the signal and image processing communities. By providing a global, yet tractable, model that operates on the whole image, the CSC was shown to overcome several limitations of the patch-based sparse model while achieving superior performance in various applications. Contemporary methods for pursuit and learning the CSC dictionary often rely on the Alternating Direction Method of Multipliers (ADMM) in the Fourier domain for the computational convenience of convolutions, while ignoring the local characterizations of the image. A recent work by Papyan et al. suggested the SBDL algorithm for the CSC, while operating locally on image patches. SBDL demonstrates better performance compared to the Fourier-based methods, albeit still relying on the ADMM. In this work we maintain the localized strategy of the SBDL, while proposing a new and much simpler approach based on the Block Coordinate Descent algorithm - this method is termed Local Block Coordinate Descent (LoBCoD). Furthermore, we introduce a novel stochastic gradient descent version of LoBCoD for training the convolutional filters. The Stochastic-LoBCoD leverages the benefits of online learning, while being applicable to a single training image. We demonstrate the advantages of the proposed algorithms for image inpainting and multi-focus image fusion, achieving state-of-the-art results.

研究の動機と目的

• CSCにおける周波数領域のADMM手法の限界を解決する。具体的には、補助変数を必要とし、高メモリ使用量に起因し、チューニングが難しいパラメータに依存する問題を解消する。
• パッチベースのスパースコーディングの非最適性を克服するため、畳み込みスパースコーディング（CSC）フレームワークを用いてグローバルモデリングを可能にする。
• 信号領域で直接作用するローカルでADMMでないアプローチをCSCプルーリングに開発し、ブロック座標降下法を用いることで、計算効率と収束性を向上させる。
• オンラインで1枚の画像から辞書学習が可能な確率的勾配変種（Stochastic-LoBCoD）を導入し、個々の学習サンプルへの効率的な適応を可能にする。
• SBDLや[21]を含む最先端手法と比較して、画像補完およびマルチフォーカス画像統合において優れた性能を示す。

提案手法

• LoBCoDを提案する。これは、画像領域における局所的計算のみを用いて、局所的スパース表現と畳み込みフィルタの間を交互に最適化するブロック座標降下法である。
• 補助変数やADMMパラメータを避けるために、重複する画像パッチ上で直接CSC目的関数を座標降下法で最小化する。
• 各パッチを固定された辞書を用いて独立に処理する局所的プルーリング戦略を採用し、畳み込み合成によりグローバル再構成を実現する。
• ミニバッチを1枚の学習画像から抽出して畳み込みフィルタを更新する確率的勾配降下法の変種、Stochastic-LoBCoDを導入し、オンライン学習を可能にする。
• 2段階の交互最適化を適用する：LoBCoDを用いたスパースプルーリングと、再構成カーネル $U_s$ を用いたベース画像抽出。パラメータは $\lambda=1$ および $\mu=5$ とする。
• マルチフォーカス統合のため、Lab色空間における局所的スパarsityとアクティビティマップを活用し、各チャネルのピクセル単位の最大アクティビティに基づいて領域を選択する。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標降下法は、補助変数やチューニングパラメータを避けることで、ADMMベースの手法を上回る性能をCSCプルーリングで達成できるか？
• RQ2 局所的でADMMでないCSCアルゴリズムは、周波数領域のADMM手法と比較して、より高いメモリ効率と高速な収束性を達成できるか？
• RQ3 LoBCoDの確率的勾配変種は、1枚の画像からの有効なオンライン辞書学習を可能にするか？
• RQ4 LoBCoDは、PSNRおよび視覚的品質の観点から、画像補完およびマルチフォーカス統合において最先端手法と比較して優れているか？
• RQ5 LoBCoDにおける局所的パッチベース戦略は、計算の実行可能性を保ちながら、グローバルな画像構造をどの程度正確に保持できるか？

主な発見

• Bird画像統合タスクにおいて、LoBCoDは39.81 dBのPSNRを達成し、先行手法[21]の39.29 dBを上回った。
• バタフライ画像において、本手法は[21]と比較して、特にぼやけた領域でより明確なディテールと少ないぼやけを示す視覚的に優れた結果を生成した。
• 合成データにおいて、本手法は高いPSNR値を達成した：Barbaraでは38.45 dB、バタフライでは37.68 dBを記録し、優れた再構成性能を示した。
• スパースプルーリングとベース画像抽出の間で2〜4回の交互反復で収束したため、収束が非常に速いことが示された。
• Stochastic-LoBCoDは、1枚の画像からの有効な辞書学習を可能にし、大規模データセットを必要としないオンライン学習の利点を維持した。
• ADMMベースの手法と比較して、局所的で変数のない最適化戦略のおかげで、優れたメモリ効率と並列処理可能性を示した。