[論文レビュー] The Statistical Inefficiency of Sparse Coding for Images (or, One Gabor to Rule them All)

James Bergstra, Aaron Courville+1 more|arXiv (Cornell University)|Sep 29, 2011

Sparse and Compressive Sensing Techniques参考文献 9被引用数 13

ひとこと要約

本稿では、画像変換（平行移動、回転、スケーリング）を1つの不変的ガボール型フィルタから分離する因子化スパースコーディングモデルを提案する。このモデルは、優れた統計的効率性を達成する。1つの基本フィルタを学習し、変換を適用することで、標準的なスパースコーディングと比較して係数の数を著しく減らす。CIFAR-10における再構成誤差を同等または上回りながら、コード長を半減させる。

ABSTRACT

Sparse coding is a proven principle for learning compact representations of images. However, sparse coding by itself often leads to very redundant dictionaries. With images, this often takes the form of similar edge detectors which are replicated many times at various positions, scales and orientations. An immediate consequence of this observation is that the estimation of the dictionary components is not statistically efficient. We propose a factored model in which factors of variation (e.g. position, scale and orientation) are untangled from the underlying Gabor-like filters. There is so much redundancy in sparse codes for natural images that our model requires only a single dictionary element (a Gabor-like edge detector) to outperform standard sparse coding. Our model scales naturally to arbitrary-sized images while achieving much greater statistical efficiency during learning. We validate this claim with a number of experiments showing, in part, superior compression of out-of-sample data using a sparse coding dictionary learned with only a single image.

研究の動機と目的

• 画像表現に大きな重複辞書を必要とする標準的スパースコーディングの統計的非効率性を是正すること。
• 空間的および構造的不変性（平行移動、回転、スケーリング）を変換として明示的にモデル化することで、辞書学習のデータ要件を低減すること。
• 1つの不変的ガボール型フィルタに加えて学習可能な変換を組み合わせることで、従来の過剰な辞書を上回る性能を達成できることを示すこと。
• 標準的スパースコーディングに内在する冗長性を要因分解することで、一般化性能と圧縮効率を向上させること。

提案手法

• スパースコーディングの基本を、1つの汎用的フィルタ（例：ガボールエッジ）と連続的な変換（スケーリング、回転、平行移動）に分解し、α、β、θ、δ、ηでパrameter化する。
• 有限和を連続的な変換パラメータの積分に置き換え、1つの基本から無限に及ぶ空間的および幾何的変化を可能にする。
• 再構成は積分で定義される：z = ∫ w_ω y_ω dω、ここでw_ωは基本フィルタuの変換版である。
• 1つの辞書要素（u）を用い、各変換に対して係数y_ωを学習することで、基本空間ではなく変換空間におけるスパースコーディングを可能にする。
• 推論では、大域的な変換（すなわち、位置、スケール、方向）のうち最も活性化されたものを回復する。これにより、大規模で重複する基本の集合から選ぶのではなくなる。
• このアプローチにより、変換パラメータと係数のエンドツーエンド学習が可能となり、複数の基本ベクトルを事前学習する必要がなくなる。

実験結果

リサーチクエスチョン

• RQ1 1つの不変的ガボール型フィルタに加えて学習可能な変換を組み合わせることで、標準的スパースコーディングの大きな重複辞書を上回る性能を達成できるか？
• RQ2 空間的および幾何的変換を要因分解することで、辞書学習における統計的効率性はどのように向上するか？
• RQ3 要因分解モデルは、最小限の学習データで、サンプル外のデータにどの程度一般化できるか？
• RQ4 同程度の再構成誤差を達成する場合、標準的スパースコーディングと比較して、本モデルはより高い圧縮効率（非ゼロ係数の数が少ない）を達成できるか？

主な発見

• 因子化スパースコーディングモデルは、CIFAR-10におけるテストで、すべての辞書サイズとコード長において標準的スパースコーディングを上回った。
• 因子化モデルは、非ゼロ係数の数を約半分に抑えながら、標準的スパースコーディングと同等の再構成誤差を達成した。これは、期待されるコード長を半分に削減できたことを意味する。
• 100枚の学習画像でのみ、因子化モデルは高品質なガボール型フィルタを学習できたが、標準的スパースコーディングは類似するフィルタを学習するのにはるかに多くのデータを必要とした。
• コード長が延長されるに従い、因子化モデルの再構成誤差は標準的スパースコーディングよりも著しく低下した。特に小規模なモデルでは顕著であった。
• 因子化モデルは限られたデータに対しても頑健であり、学習データが辞書サイズを下回る場合でも、劣化が最小限に抑えられた。
• 因子化モデルの優れた性能は、過剰な冗長性の低減と統計的効率の向上によるものであり、標準的スパースコーディングで見られる過学習や劣悪な基本選択とは異なる。