[論文レビュー] Regularizing by the Variance of the Activations' Sample-Variances

Etai Littwin, Lior Wolf|arXiv (Cornell University)|Nov 21, 2018

Gaussian Processes and Bayesian Inference参考文献 19被引用数 8

ひとこと要約

本稿では、ミニバッチ間での活性化の標本分散の分散を最小化することで、二峰性または多峰性の活性化分布を促進する、新たな正則化手法であるVariance Constancy Loss (VCL) を提案する。バッチごとの分散の変動を明示的にペナルティ化することで、活性化の安定化、一般化性能の向上が図られ、特に小規模バッチにおいてバッチ正規化を上回る高い精度を達成する。

ABSTRACT

Normalization techniques play an important role in supporting efficient and often more effective training of deep neural networks. While conventional methods explicitly normalize the activations, we suggest to add a loss term instead. This new loss term encourages the variance of the activations to be stable and not vary from one random mini-batch to the next. As we prove, this encourages the activations to be distributed around a few distinct modes. We also show that if the inputs are from a mixture of two Gaussians, the new loss would either join the two together, or separate between them optimally in the LDA sense, depending on the prior probabilities. Finally, we are able to link the new regularization term to the batchnorm method, which provides it with a regularization perspective. Our experiments demonstrate an improvement in accuracy over the batchnorm technique for both CNNs and fully connected networks.

研究の動機と目的

• 小規模ミニバッチにおけるバッチ正規化の不安定性および一般化の問題に対処すること。
• 活性化分布を安定的・多峰的形状に間接的に形状づける、損失ベースの正則化手法の開発。
• 推論時におけるバッチ統計に依存しない、理論的かつ実験的で代替可能なバッチ正規化の代替手法の提供。
• 分散の分散を最小化することで、完全接続層および畳み込みニューラルネットワークにおけるモデル精度と耐性の向上を実証すること。

提案手法

• 本手法は、ミニバッチ間での活性化の標本分散の分散を計算する新たな正則化項を導入する。
• 各ニューロンに対して、異なるミニバッチで計算された標本分散の乖離をペナルティ化することで、一貫した分散レベルを促進する。
• 固定されたターゲット分散 $\alpha$ の下で $\mathbb{E}[(\sigma^2 - \sigma_s^2)^2]$ を最小化するというコアな目的は、理論的に二峰性分布に導く。
• 理論的分析により、固定された分散下でこの分散の分散項を最小化すると、尖度を最小化し、活性化統計を安定化する二峰性分布が得られることを示す。
• 本手法は適応的である：各ニューロンは可学習ハイパーパrameter $\beta$ を通じて自身の最適分散レベルを学習可能であり、手動によるハイパーパrameterチューニングを回避できる。
• VCLは訓練中に微分可能な損失項として適用され、推論時にバッチ統計を必要としないため、任意の最適化アルゴリズムや小規模バッチと併用可能である。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ間での活性化標本分散の分散を最小化することは、より安定的かつ一般化可能な深層学習モデルを実現できるか？
• RQ2 この分散の分散正則化は、特に二峰性の分布を間接的に促進するか？
• RQ3 特に小規模バッチにおいて、本手法はバッチ正規化と比較して精度と耐性に優れているか？
• RQ4 本手法の新しい正則化項は、ResNetのような現代的なアーキテクチャでバッチ正規化を置き換えることができるか？
• RQ5 分散の分散損失と得られる活性化分布の形状との間には、理論的リンクがあるか？

主な発見

• VCLは複数のベンチマークで最先端の性能を達成し、全テストデータセットおよび活性化関数においてバッチ正規化を上回る精度を示した。
• UCI adultデータセットでは、ReLUでは27勝中27勝、ELUでは27勝中23勝、SELUでは27勝中28勝（28勝中27勝）の精度比較で優位を示した。
• 理論的分析により、固定された総分散下で標本分散の分散を最小化すると、尖度を最小化し、活性化統計を安定化する二峰性分布が得られることを証明した。
• 二つの正規分布の混合に対して、VCLは事前確率に応じて、分離に最適なLDA射影または耐性に優れた直交射影を自然に学習する。
• バッチ正規化が統計が不安定になるため小規模バッチでしばしば失敗する状況においても、VCLは有効であり、低データ環境における実用的代替手段である。
• 完全接続層および標準的なCNNでは優れた結果を示したが、ResNetのような深層アーキテクチャではまだバッチ正規化を完全に置き換えることはできず、今後の研究における制限要因である。