[論文レビュー] Convolutional Sparse Coding with Overlapping Group Norms

Brendt Wohlberg|arXiv (Cornell University)|Aug 29, 2017

Sparse and Compressive Sensing Techniques参考文献 24被引用数 6

ひとこと要約

本稿では、空間的およびフィルタ次元にわたる構造的スパarsityを強制するために、重複するグループノルム（特に ℓ₁,∞ および ℓ₁,₂ ノルム）を用いた畳み込みスパースコーディング（CSC）の新しいアルゴリズムを提案する。理論的動機づけは強いが、実験ではガウスノイズ除去において標準的な ℓ₁ 正則化より性能が劣ることが示された。しかし、適応的重み付けを導入することで性能が著しく向上し、パッチベース手法と同等またはそれを上回る性能が達成された。

ABSTRACT

The most widely used form of convolutional sparse coding uses an $\ell_1$ regularization term. While this approach has been successful in a variety of applications, a limitation of the $\ell_1$ penalty is that it is homogeneous across the spatial and filter index dimensions of the sparse representation array, so that sparsity cannot be separately controlled across these dimensions. The present paper considers the consequences of replacing the $\ell_1$ penalty with a mixed group norm, motivated by recent theoretical results for convolutional sparse representations. Algorithms are developed for solving the resulting problems, which are quite challenging, and the impact on the performance of the denoising problem is evaluated. The mixed group norms are found to perform very poorly in this application. While their performance is greatly improved by introducing a weighting strategy, such a strategy also improves the performance obtained from the much simpler and computationally cheaper $\ell_1$ norm.

研究の動機と目的

• 空間的およびフィルタ次元を均等に扱う ℓ₁ 正則化の限界を是正するため、混合グループノルムを用いて構造的スパarsityを導入すること。
• 重複するグループを用いた ℓ₁,∞ および ℓ₁,₂ グループノルムを伴う CSC 問題を解くための効率的な最適化アルゴリズムを開発すること。
• ガウス白色ノイズ下での画像ノイズ除去という、標準的なベンチマーク問題において、これらのグループノルムに基づく CSC 方法の性能を実験的に評価すること。
• グループノルムによる構造的スパarsityが、実用的な画像再構成タスクにおいて、標準的な ℓ₁ に基づく CSC よりも優れる可能性があるかどうかを調査すること。
• 適応的重み付け戦略が、グループノルムに基づく CSC の性能向上に与える影響を検討し、ℓ₁ 基盤の CSC における類似戦略と比較すること。

提案手法

• 空間的およびフィルタ次元にわたる係数マップの構造的スパarsityを促進するために、重複するグループノルム（特に ℓ₁,∞ および ℓ₁,₂）を用いた畳み込みスパースコーディングの新しい定式化を提案する。
• 重複するグループを伴う非滑らかで分離不能な最適化問題を解くための、特殊な ADMM に基づくアルゴリズムを開発する。これは計算的に困難であり、先行研究では取り扱われていない課題である。
• 正則化のスケーリングを適応的に行うための重み付けスキームを導入し、相関が低いフィルタをより強くペナルティ化することで性能を向上させる。この重み付けは、活動度の逆数（|Dᵀs|²）に基づく。
• ADMM フレームワークを用いて最適化を部分問題に分解し、グループノルムのシャーリングステップと、畳み込み演算子を含むデータ適合項を分離する。
• DFTドメインを用いて、随伴辞書演算（Dᵀs）を効率的に計算することで、重み付けスキームの高速実装を可能にする。
• 標準的な画像ノイズ除去ベンチマークを用い、σ=0.05 のガウス白色ノイズをかけた5つのテスト画像に対して、提案手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みスパースコーディングにおける重複グループノルム（ℓ₁,∞ および ℓ₁,₂）は、標準的な ℓ₁ 正則化と比較して、画像ノイズ除去性能を向上させることができるか？
• RQ2 重複グループノルムを伴う CSC 問題を解く際の計算的およびアルゴリズム的課題は何か？それらは効果的に解決可能か？
• RQ3 グループノルムによる構造的スパarsityの理論的利点は、画像ノイズ除去という実用的タスクにおいても実際の性能向上に結びつくか？
• RQ4 適応的重み付け戦略は、グループノルムに基づく CSC の性能を著しく向上させることができるか？また、ℓ₁ 基盤の CSC における類似戦略と比べてどうなるか？
• RQ5 グループノルムに基づく CSC が、実用的な状況で、既存のパッチベーススパースコーディング手法を上回るか、あるいは同等の性能を達成できる状況があるか？

主な発見

• ℓ₁,∞ および ℓ₁,2 グループノルムに基づく CSC 方法は、画像ノイズ除去において標準的な ℓ₁ 正則化より著しく性能が劣り、平均してPSNRが1–2 dB低下する。
• ℓ₁,2 ノルムは ℓ₁,∞ よりも優れるが、依然として標準的な ℓ₁ ノルムの性能に達しない。
• |Dᵀs|⁻² に基づく適応的重み付けにより、両グループノルム手法の性能が顕著に向上し、重みなしの ℓ₁ CSC ベースラインに近づくか、それを上回る性能を達成する。
• 重み付き ℓ₁ ノルム手法は、'Barbara' 画像において 33.39 dB の PSNR を達成し、すべてのグループノルム手法を上回り、パッチベースの OMP 手法と同等の性能を示した。
• 重複グループノルム CSC に向けた提案アルゴリズムは計算的に高価だが、実行可能であり、ノイズ除去を超える他の応用分野における今後の検討を可能にする。
• 本研究の結論として、グループノルムは理論的には魅力的だが、有効な重み付けがなければ、ノイズ除去における実用的有用性は限定的である。また、重み付けはより単純な ℓ₁ アプローチの性能向上にも寄与する。