[論文レビュー] Separable Dictionary Learning

Simon Hawe, Matthias Seibert+1 more|arXiv (Cornell University)|Mar 21, 2013

Sparse and Compressive Sensing Techniques参考文献 26被引用数 16

ひとこと要約

本稿では、Kronecker積分解を用いて学習された辞書に分離可能構造を強制することで、大規模な画像パッチ向けに効率的な学習と応用を可能にする、新しい辞書学習手法SeDiLを提案する。球面の積上の最適化に加え、相互コherーレンス正則化を施すことにより、画像ノイズ除去において最先端の性能を達成するとともに、顔画像における大規模な欠損領域の高品質な補完を実現し、グローバルな画像構造を捉える能力を示している。

ABSTRACT

Many techniques in computer vision, machine learning, and statistics rely on the fact that a signal of interest admits a sparse representation over some dictionary. Dictionaries are either available analytically, or can be learned from a suitable training set. While analytic dictionaries permit to capture the global structure of a signal and allow a fast implementation, learned dictionaries often perform better in applications as they are more adapted to the considered class of signals. In imagery, unfortunately, the numerical burden for (i) learning a dictionary and for (ii) employing the dictionary for reconstruction tasks only allows to deal with relatively small image patches that only capture local image information. The approach presented in this paper aims at overcoming these drawbacks by allowing a separable structure on the dictionary throughout the learning process. On the one hand, this permits larger patch-sizes for the learning phase, on the other hand, the dictionary is applied efficiently in reconstruction tasks. The learning procedure is based on optimizing over a product of spheres which updates the dictionary as a whole, thus enforces basic dictionary properties such as mutual coherence explicitly during the learning procedure. In the special case where no separable structure is enforced, our method competes with state-of-the-art dictionary learning methods like K-SVD.

研究の動機と目的

• 大規模な画像パッチに適用する際の従来の辞書学習手法の計算およびメモリ制限を解消すること。
• Kronecker積を用いて分離可能構造を強制することで、高次元信号のための辞書の効率的学習と応用を可能にすること。
• 学習中に辞書の相互コヒーレンスを制御し、スパース表現の品質を向上させること。
• 標準的手法では非現実的であるが、64×64などの大規模な画像パッチに対する辞書の学習と応用の可能性を示すこと。
• 画像ノイズ除去および大規模補完タスクにおける手法の妥当性を検証し、グローバルな画像構造を捉える能力を示すこと。

提案手法

• 辞書学習を、正規直交性を維持し、基本的な辞書の性質を強制するための、単位球面の積上の最適化問題として定式化する。
• 分離可能辞書の多様体上での最適化問題を解くために、非単調ラインサーチを組み合わせたリーマン的共役勾配法を導入する。
• 辞書は D = B ⊗ A の形に構造化され、計算複雑度が O(n) から O(√n) に低減される。
• 相互コヒーレンスを制御する正則化項を導入し、古典的定義と関連する新しい相互コヒーレンス測度を提案する。
• FISTAを用いて画像再構成に応用し、ℓ1スパースネスとデータ適合項を含む逆問題を解く。
• 信号を分離可能な成分に分解することで、大規模パッチに対応したスケーラブルな計算を可能にする学習プロセスを適応させる。

実験結果

リサーチクエスチョン

• RQ1 分離可能構造付きの辞書を、高いスパースネスと再構成精度を維持したまま、効率的に学習できるか？
• RQ2 辞書にKronecker積構造を強制することで、計算複雑度をO(n)からO(√n)に低減できるか、性能を損なわないか？
• RQ3 SeDiLは、標準的手法では非現実的であるが、64×64などの大規模な画像パッチに対しても辞書を学習できるか？
• RQ4 学習中に相互コヒーレンスを制御することで、画像再構成タスクにおけるスパース表現の品質がどの程度向上するか？
• RQ5 学習された分離可能辞書は、十分にグローバルな画像構造を捉えることができ、大規模な欠損領域の高品質な補完を可能にするか？

主な発見

• SeDiLは、標準データセット上で30.81 dBのPSNRおよび0.810のSSIMを達成し、K-SVDなどの最先端手法と同等の画像ノイズ除去性能を示した。
• 64×64の顔画像パッチに対して、分離可能辞書を効果的に学習し、大規模な欠損領域の高品質な補完を定性的に示した。
• 補完実験では、1,228枚の顔画像から成るテストセットで30.93 dBのPSNRおよび0.826のSSIMを達成し、強力なグローバル構造の捉え具合を示した。
• 64×64の画像パッチに対する辞書学習が可能であり、標準的な非構造的辞書学習ではメモリおよび時間的制約により非現実的である。
• 相互コヒーレンス正則化により、より優れた辞書特性が得られ、新しいコヒーレンス測度が古典的定義と関連していることが示された。
• 非単調ラインサーチを組み合わせたリーマン的共役勾配法は、球面の積多様体上で信頼性高く収束し、安定した最適化を可能にした。