[論文レビュー] The local low-dimensionality of natural images

Olivier J. Hénaff, Johannes Ballé+2 more|arXiv (Cornell University)|Dec 20, 2014

Image and Signal Denoising Methods参考文献 16被引用数 7

ひとこと要約

本稿では、フィルタ応答の空間的に変化する低次元ガウス分布を用いて局所的画像パッチを表現する統計的モデルを提案する。局所的活性化共分散行列の核ノルムを最小化することで、埋め込み次元の低減を促進するフィルタを最適化することにより、共分散マップのみからほぼ完璧な画像再構成が達成され、ノイズ除去、圧縮、階層的表現学習への強い可能性を示している。

ABSTRACT

We develop a new statistical model for photographic images, in which the local responses of a bank of linear filters are described as jointly Gaussian, with zero mean and a covariance that varies slowly over spatial position. We optimize sets of filters so as to minimize the nuclear norms of matrices of their local activations (i.e., the sum of the singular values), thus encouraging a flexible form of sparsity that is not tied to any particular dictionary or coordinate system. Filters optimized according to this objective are oriented and bandpass, and their responses exhibit substantial local correlation. We show that images can be reconstructed nearly perfectly from estimates of the local filter response covariances alone, and with minimal degradation (either visual or MSE) from low-rank approximations of these covariances. As such, this representation holds much promise for use in applications such as denoising, compression, and texture representation, and may form a useful substrate for hierarchical decompositions.

研究の動機と目的

• グローバルまたは固定基底モデルよりも局所構造をより効果的に捉える自然画像の統計的モデルを開発すること。
• 従来のスパースコーディングやICAの制限を克服し、高コherenceと計算コストの高い固定の過完備辞書に依存しないこと。
• 自然画像における局所的フィルタ応答共分散が本質的に低次元であるかどうか、およびその性質を表現学習にどう活用できるかを調査すること。
• 固定軸に沿ったスパarsityを仮定せずに、局所的低次元構造を促進するフィルタ最適化目的関数を設計すること。
• 共分散マップと分散マップ、スパースコーディング手法を比較して、局所的共分散マップの画像合成および再構成への有効性を評価すること。

提案手法

• 局所的画像パッチを空間的位置に応じて滑らかに変化する共分散行列を持つゼロ平均多変量正規分布としてモデル化する。
• 局所的活性化行列の核ノルム最小化を目的関数として用い、低ランクかつ低次元構造を促進するようにフィルタのバンドを最適化する。
• 勾配降下法を用いて、ノイズ画像に推定された局所的共分散マップを課して画像を再構成する。
• 実写の写真画像と位相ランダム化またはスペクトル的に一致したノイズ画像の両方に対して手法を適用し、低次元性効果の頑健さと特異性をテストする。
• 同等の基数を持つ共分散マップと分散マップを比較して、共分散構造の重要性を評価する。
• 局所的共分散行列の低ランク近似が知覚的品質を保持していることから、表現が頑健で圧縮可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 自然画像における局所的フィルタ応答共分散は、低次元部分空間に近接していると示せるか？ また、その性質はフィルタ設計と画像コンテンツの両方に依存するか？
• RQ2 局所的活性化行列の核ノルムを最小化することで、方向性がありバンドパスなフィルタが得られ、より構造的で低次元の応答が得られるか？
• RQ3 振幅や位相情報に依存せずに、フィルタ応答の局所的共分散構造のみから、画像の外観をどの程度再構成できるか？
• RQ4 同等次元の共分散ベースと分散ベースの表現において、画像再構成の知覚的品質はどのように比較されるか？
• RQ5 この局所的共分散表現は、従来のスパースコーディングやプーリングベースのアーキテクチャに比べ、視覚分野における階層的モデルの基盤として機能できるか？

主な発見

• 自然画像における局所的フィルタ応答共分散は非常に細長く、応答が低次元部分空間に近接していることを示しており、特に方向性のあるコンテンツを含む領域で顕著である。
• スペクトル的に一致したノイズ画像や位相ランダム化フィルタでは、局所的共分散の低次元性は観察されず、自然画像と方向性フィルタの相互作用に起因する性質であることが示された。
• 推定された局所的共分散マップのみから、ほぼ完璧な画像再構成が達成され、低ランク近似に対しても劣化が最小限に抑えられる。
• 共分散マップにぼかしやアンダーサンプリングを加えても再構成品質は滑らかに劣化し、同基数の分散マップに基づく再構成よりも視覚的に優れている。
• 局所的共分散をより高次元にした場合、人工的なテクスチャが出現するため、知覚的忠実度にとって低次元性が不可欠であることが確認された。
• 固定辞書のスパースコーディングにおける次元の呪いとコherence問題を回避するため、特徴空間において低次元部分空間を連続的にパrameter化している。