[論文レビュー] Why Regularized Auto-Encoders learn Sparse Representation?

Devansh Arpit, Yingbo Zhou+2 more|arXiv (Cornell University)|May 21, 2015

Neural Networks and Applications参考文献 23被引用数 13

ひとこと要約

この論文は、正則化項の正のバイアス勾配と、ゼロにおける負の飽和を示す非減少活性化関数が、スパース表現の学習を促進する鍵であると明示する形式的理論的分析を提供している。正則化の性質と活性化関数の特性を理論的に分析することで、ノイズ除去自己符号化器（DAE）やコントラクト型自己符号化器（CAE）といった多様な自己符号化器モデルを、スパース性を満たす十分条件を満たす正則化形として統一的に扱うフレームワークを構築し、それらの実験的成功の背後にある理由を説明している。

ABSTRACT

While the authors of Batch Normalization (BN) identify and address an important problem involved in training deep networks-- extit{Internal Covariate Shift}-- the current solution has certain drawbacks. For instance, BN depends on batch statistics for layerwise input normalization during training which makes the estimates of mean and standard deviation of input (distribution) to hidden layers inaccurate due to shifting parameter values (especially during initial training epochs). Another fundamental problem with BN is that it cannot be used with batch-size $ 1 $ during training. We address these drawbacks of BN by proposing a non-adaptive normalization technique for removing covariate shift, that we call extit{Normalization Propagation}. Our approach does not depend on batch statistics, but rather uses a data-independent parametric estimate of mean and standard-deviation in every layer thus being computationally faster compared with BN. We exploit the observation that the pre-activation before Rectified Linear Units follow Gaussian distribution in deep networks, and that once the first and second order statistics of any given dataset are normalized, we can forward propagate this normalization without the need for recalculating the approximate statistics for hidden layers.

研究の動機と目的

• この現象についての先行理論的研究が不足しているにもかかわらず、正則化付き自己符号化器がなぜスパース表現を学習するのかを形式的に分析すること。
• 自己符号化器の隠れユニットにおけるスパース性を促進する正則化および活性化関数に関する十分条件を同定すること。
• 代表的な自己符号化器モデル（例：ノイズ除去型、コントラクト型）および活性化関数（例：ReLU、シグモイド）を、統一的な解析的フレームワークに統合すること。
• 正則化係数や重み長さ制約の影響を実験的に検証することで、理論的主張を裏付けること。
• 明示的な汚染（例：DAE）と平均化された正則化（例：mDAE、CAE）の間で、スパース性を誘導する効果の相違を解明すること。

提案手法

• 隠れユニットにおける低予活性化を促進する正則化に関する十分条件を導出する。具体的には、符号化器バイアスに関して正則化項の勾配が正である必要がある。
• 非減少かつゼロで負の飽和を示す活性化関数（例：ReLU、シグモイド、ソフトプラス）を分析し、このような正則化と組み合わせることでスパース性が促進されることを示す。
• 代表的な自己符号化器の目的関数（例：ノイズ除去自己符号化器（DAE）、コントラクト型自己符号化器（CAE））が、導出された十分条件を満たす正則化形を有することを示す。
• 理論的分析を通じて、スパース性が重みの方向や大きさではなく、正則化からのバイアス勾配によって支配されることを示す。
• 重みベクトルを固定長に制約することで、正則化の効果を分離し、理論モデルの予測能力を検証する。
• 明示的な汚染（DAE）と平均化された正則化（mDAE、CAE）を比較し、スパース性誘導における一次および二次の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器の隠れユニットにおけるスパース性を促進する正則化および活性化関数に必要な条件は何か？
• RQ2 明示的なスパース性制約がなくても、正則化付き自己符号化器（例：ノイズ除去型、コントラクト型）がなぜスパース表現を学習するのか？
• RQ3 正則化係数がスパース性に与える影響は何か？また、この関係は重み長さの制約に依存するか？
• RQ4 スパース性を決定づける要因として、バイアス勾配と重みの方向のどちらが相対的に重要か？
• RQ5 明示的な汚染（例：DAE）は、平均化された正則化（例：mDAE、CAE）よりも、より予測可能で効果的なスパース性誘導をもたらすか？

主な発見

• 符号化器バイアスに関して正則化項の勾配が正である正則化は、自己符号化器の隠れユニットにおけるスパース性を促進する十分条件である。
• 非減少かつゼロで負の飽和を示す活性化関数（例：ReLU、ソフトプラス、シグモイド）は、このような正則化と組み合わせることでスパース性を促進する。
• ノイズ除去自己符号化器（DAE）、コントラクト型自己符号化器（CAE）、平均化されたDAE（mDAE）は、いずれも導出された十分条件を満たす正則化形を有しており、それらがスパース表現を学習できる理由を説明している。
• 実験的結果から、バイアス勾配が正の場合、正則化係数が大きくなるほどスパース性が向上するが、勾配がゼロの場合にはスパース性に影響しないことが示された。
• 重みベクトルを固定長に制約することで、より予測可能で安定したスパース性のトレンドが得られ、理論モデルの予測が妥当であることが裏付けられた。
• 明示的な汚染（例：DAE）は、正則化の一次および二次の効果を捉えており、平均化されたアプローチ（例：mDAE、CAE）よりも信頼性の高いスパース性誘導を実現している。