[論文レビュー] Learning $\ell_1$-based analysis and synthesis sparsity priors using bi-level optimization

Yunjin Chen, Thomas Pock+1 more|arXiv (Cornell University)|Jan 16, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 6

ひとこと要約

本稿では、画像ノイズ除去のための$β_1$-ベースの解析演算子と合成辞書を同時に学習する統一された二段階最適化フレームワークを提案する。陰関数微分を用いて両方の事前分布を同時に学習する。非特化型$µ_1$-ベースの手法の中で最先端の性能を達成しており、解析スパarsity事前分布は合成事前分布を著しく上回る。

ABSTRACT

We consider the analysis operator and synthesis dictionary learning problems based on the the $\ell_1$ regularized sparse representation model. We reveal the internal relations between the $\ell_1$-based analysis model and synthesis model. We then introduce an approach to learn both analysis operator and synthesis dictionary simultaneously by using a unified framework of bi-level optimization. Our aim is to learn a meaningful operator (dictionary) such that the minimum energy solution of the analysis (synthesis)-prior based model is as close as possible to the ground-truth. We solve the bi-level optimization problem using the implicit differentiation technique. Moreover, we demonstrate the effectiveness of our leaning approach by applying the learned analysis operator (dictionary) to the image denoising task and comparing its performance with state-of-the-art methods. Under this unified framework, we can compare the performance of the two types of priors.

研究の動機と目的

• 単一の二段階最適化フレームワークの下で、解析演算子と合成辞書の学習を統合すること。
• $µ_1$正則化の文脈において、解析と合成スパarsity事前分布の間の体系的比較の欠如に取り組むこと。
• 解析演算子に非凸制約を課さないスケーラブルで凸な学習アプローチを開発すること。
• 自然画像データから意味のあるスパarsity事前分布を学習することで、画像ノイズ除去性能を向上させること。

提案手法

• 画像ノイズ除去問題を二段階最適化として定式化する：下位問題は$µ_1$-正則化エネルギー関数を最小化する。上位問題は再構成誤差を最小化するために解析演算子$A$と合成辞書$D$を最適化する。
• 上位問題の目的関数に対する$A$および$D$の勾配を陰関数微分を用いて計算し、エンドツーエンドの学習を可能にする。
• スライディングウィンドウの畳み込み形式を用いて、局所的なピクセルベースの解析演算子$A$からグローバルな解析演算子$\mathcal{A}$を構築する。
• 導出された勾配を用いて、上位最適化問題を準ニュートン法（L-BFGS）で解く。
• 解析モデルおよび合成モデルの両方において、データ適合項と$µ_1$-ノルム正則化を1つのエネルギー関数に統合する。
• DCTベースの初期化を用いて、学習された原子に平均ゼロ制約を課し、安定性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 解析および合成スパarsity事前分布は、統一された二段階最適化フレームワークの下で同時に学習可能か？
• RQ2 $µ_1$-ベースの解析事前分布の性能は、$µ_1$-ベースの合成事前分布と比べてどうか？
• RQ3 提案手法はBM3DやK-SVDといった最先端のノイズ除去アルゴリズムと同等の性能を達成できるか？
• RQ4 解析演算子に非凸制約がないことで、より安定的かつ効果的な学習が可能になるか？
• RQ5 陰関数微分は、微分可能でスケーラブルな方法で、解析および合成事前分布の両方を効果的に学習できるか？

主な発見

• $σ=25$の68枚のテスト画像において、$µ_1$-ベースの解析モデルは平均PSNRが27.78を達成し、全般化変換（TV）法（26.72）およびK-SVD合成法（27.93）を上回った。
• 解析事前分布は合成事前分布を著しく上回り、後者は僅かに27.32のPSNRにとどまり、自然画像を合成スパarsityでモデル化する際の本質的限界を示している。
• 提案手法は$µ_0$-ベースのK-SVD手法と同等の性能を示しており、$µ_1$-ベースの解析事前分布がより複雑な$µ_0$-ベースのモデルに近い性能を達成できることを示唆している。
• 解析モデルは、TVベースのノイズ除去（標準的な$µ_1$-ベース手法）よりも一貫して優れており、固定された事前分布ではなく学習可能な事前分布の優位性を確認している。
• 予備的な結果から、非凸正則化（例：$\log(1+|z|)$）を用いることでさらなる性能向上が可能であり、BM3Dに匹敵する可能性があるが、双対性の喪失のため、今後の研究が必要である。