[論文レビュー] Learning invariant features through local space contraction

Salah Rifai, Xavier Muller+4 more|arXiv (Cornell University)|Apr 21, 2011

Model Reduction and Neural Networks参考文献 22被引用数 16

ひとこと要約

本論文は、符号化器のヤコビ行列のフロベニウスノルムを最小化することで、局所的空間収縮を誘導し、微小な入力摂動に対して不変性を高める、新しい正則化付きオートエンコーダーであるコントラクティングオートエンコーダー（CAE）を提案する。この手法は、複数のベンチマークデータセットにおいて深層ニューラルネットワークの事前学習に用いられ、最先端の分類性能を達成する。

ABSTRACT

We present in this paper a novel approach for training deterministic auto-encoders. We show that by adding a well chosen penalty term to the classical reconstruction cost function, we can achieve results that equal or surpass those attained by other regularized auto-encoders as well as denoising auto-encoders on a range of datasets. This penalty term corresponds to the Frobenius norm of the Jacobian matrix of the encoder activations with respect to the input. We show that this penalty term results in a localized space contraction which in turn yields robust features on the activation layer. Furthermore, we show how this penalty term is related to both regularized auto-encoders and denoising encoders and how it can be seen as a link between deterministic and non-deterministic auto-encoders. We find empirically that this penalty helps to carve a representation that better captures the local directions of variation dictated by the data, corresponding to a lower-dimensional non-linear manifold, while being more invariant to the vast majority of directions orthogonal to the manifold. Finally, we show that by using the learned features to initialize a MLP, we achieve state of the art classification error on a range of datasets, surpassing other methods of pre-training.

研究の動機と目的

• 微小な入力変動に対して頑健である一方で、データ固有の構造を保持する表現学習手法の開発。
• 深層学習において、特定のオートエンコーダーの変種が他のものよりも一般化性能に優れる理由についての理論的理解の欠如に取り組む。
• データの変動要因についての事前仮定なしに、学習された特徴の局所的不変性を促進する正則化技術の提案。
• 提案されたペナルティ項が、正則化付きオートエンコーダーとノイズ除去オートエンコーダーの両者と関連することを示し、決定論的および非決定論的オートエンコーダーを橋渡しする。
• 事前学習による一般化性能の向上を実証的に検証し、優れた分類精度を達成することを確認する。

提案手法

• 符号化器の活性化関数の入力に関するヤコビ行列のフロベニウスノルムに基づくペナルティ項を導入する。
• このペナルティ項により、局所的空間収縮が促され、学習例の周囲における微小な入力摂動に対して表現が頑健になる。
• 忠実な入力データの表現を保証するため、標準の再構成損失と組み合わせて正則化を行う。
• ヤコビ行列の特異値スペクトルを用いて、学習された表現の局所的幾何構造を分析し、多様体構造を明らかにする。
• 複数のCAE層をスタックすることで深層オートエンコーダーを学習し、高レベルでの不変性を強化する。
• マルチレイヤーパーセプトロンをCAEで学習した特徴で初期化し、テスト分類誤差を測定することで、手法の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 データ拡張に依存せずに、学習された特徴の微小な入力摂動に対する頑健性をどのように向上させられるか。
• RQ2 ヤコビ行列のフロベニウスノルムを最小化することの表現空間に与える幾何的効果は何か。
• RQ3 提案されたペナルティ項は、ノイズ除去オートエンコーダーや正則化付きオートエンコーダーといった既存手法とどのように関係しているか。
• RQ4 この手法は、データの潜在的な低次元多様体構造をどの程度まで明らかにできるか。
• RQ5 CAEで学習した特徴を用いて深層ネットワークを事前学習した場合、最先端の分類性能を達成できるか。

主な発見

• CAEは、複数のベンチマークデータセットにおいて、標準的および正則化付きオートエンコーダーを常に上回る下流分類精度を達成する。
• 特に不変特徴の学習において、ノイズ除去オートエンコーダーと同等またはそれ以上の性能を示す。
• ヤコビ行列の特異値スペクトルから、CAEがデータ多様体の局所次元を効果的に捉えており、標準的オートエンコーダーよりも顕著な低ランク構造を示していることが明らかになった。
• CAEをスタックすることで、学習例からの距離が長い範囲にわたり平坦な収縮プロファイルを示し、より深い表現と強い不変性が得られることを示した。
• 収縮比の分析から、データ多様体に垂直な方向はより強く収縮される一方で、多様体に沿った方向は保持されていることが確認された。
• マルチレイヤーパーセプトロンの事前学習にCAE特徴を用いた場合、全テストデータセットで最先端の分類誤差を達成した。