[論文レビュー] Recklessly approximate sparse coding

Misha Denil|arXiv (Cornell University)|Jan 1, 2012

Sparse and Compressive Sensing Techniques参考文献 40被引用数 12

ひとこと要約

この論文は、効率的な画像分類のためのスパースコーディングの代わりに使われるソフトスレッショルド特徴量が、非負のスパースコーディング目的関数に対するプロキシマル勾配降下法の1ステップに数学的に等価であることを示している。これは、それらの特徴量が優れた性能を示す理論的根拠を初めて提供し、近似的なスパースコーディング解でも効果的な分類器が得られることを示している。

ABSTRACT

Introduction of the so called “K-means” or “triangle” features in Coates, Lee and Ng, 2011 caused significant discussion in the deep learning community. These simple features are able to achieve state of the art performance on standard image classification benchmarks, outperforming much more sophisticated methods including deep belief networks, convolutional nets, factored RBMs, mcRBMs, convolutional RBMs, sparse autoencoders and several others. Moreover, these features are extremely simple and easy to compute. Several intuitive arguments have been put forward to describe this remarkable performance, yet no mathematical justification has been offered. In Coates and Ng, 2011, the authors improve on the triangle features with “soft threshold” features, adding a hyperparameter to tune performance, and compare these features to sparse coding. Both soft thresholding and sparse coding are found to often yield similar classification results, though soft threshold features are much faster to compute. The main result of this thesis is to show that the soft threshold features are realized as a single step of proximal gradient descent on a non-negative sparse coding objective. This result is important because it provides an explanation for the success of the soft threshold features and shows that even very approximate solutions to the sparse coding problem are sufficient to build effective classifiers.

研究の動機と目的

• ソフトスレッショルド特徴量が画像分類で優れた性能を示す数学的説明を提供すること。
• 特徴学習の文脈において、ソフトスレッショルド特徴量とスパースコーディングの関係を調査すること。
• スパースコーディングの近似解でさえも、非常に効果的な分類器をもたらすことを示すこと。
• ソフトスレッショルド特徴量と非負スパースコーディング目的関数上の最適化の間の関係を形式化すること。

提案手法

• ソフトスレッショルド特徴量の学習をモデル化するための非負スパースコーディング目的関数を提案する。
• ソフトスレッショルド特徴量の計算を、非負スパースコーディング目的関数に対するプロキシマル勾配降下法の1反復として導出する。
• スパarsity制約と非負性制約を満たすために、目的関数を繰り返し最小化するためのプロキシマル勾配降下法を用いる。
• 標準的な画像分類ベンチマーク上でソフトスレッショルド特徴量と完全なスパースコーディングの性能を比較する。
• 特徴量のスパarsityと性能を調整するためのソフトスレッショルドにハイパーパrameterを導入する。
• 理論的同等性と性能を検証するために、標準データセットを用いた実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 シンプルであるにもかかわらず、ソフトスレッショルド特徴量が画像分類ベンチマークで最先端の性能を達成する理由は何か？
• RQ2 最適化の観点から、ソフトスレッショルド特徴量とスパースコーディングの関係は何か？
• RQ3 非負スパースコーディング目的関数に対するプロキシマル勾配降下法の1ステップが、完全なスパースコーディングの性能を再現できるか？
• RQ4 スパースコーディング問題の近似解が、どれほど効果的な分類器をもたらすのか？

主な発見

• ソフトスレッショルド特徴量は、非負スパースコーディング目的関数に対する1ステップのプロキシマル勾配降下法に数学的に等価である。
• 提案手法は、ソフトスレッショルド特徴量の経験的成功に対する理論的根拠を初めて提供する。
• ソフトスレッショルド特徴量は、完全なスパースコーディングと同等の分類性能を達成するが、計算がはるかに高速である。
• スパースコーディング目的関数に対する最適化の1ステップでも、分類に非常に効果的な特徴量が得られる。
• 結果は、スパースコーディングの近似解でも、強力な画像分類器を構築するのに十分であることを確認している。