[論文レビュー] Adaptive Normalized Risk-Averting Training For Deep Neural Networks

Zhiguang Wang, Tim Oates+1 more|arXiv (Cornell University)|Jun 8, 2015

Advanced Neural Network Applications参考文献 26被引用数 5

ひとこと要約

この論文は、深層ニューラルネットワークの最適化のための新しい手法である適応的正規化リスク回避学習（ANRAT）を導入する。ANRATは、訓練の安定性と一般化性能を向上させるために、凸性インデックスを動的に調整する。勾配降下法を用いてリスク回避誤差基準を動的に調整することで、アンプレイントランスフォーメーションなしでMNISTおよびCIFAR-10で標準的なMSEおよび交差エントロピー損失と同等または優れた性能を達成し、特に深層ネットワークで顕著な性能を発揮する。

ABSTRACT

This paper proposes a set of new error criteria and learning approaches, Adaptive Normalized Risk-Averting Training (ANRAT), to attack the non-convex optimization problem in training deep neural networks (DNNs). Theoretically, we demonstrate its effectiveness on global and local convexity lower-bounded by the standard $L_p$-norm error. By analyzing the gradient on the convexity index $λ$, we explain the reason why to learn $λ$ adaptively using gradient descent works. In practice, we show how this method improves training of deep neural networks to solve visual recognition tasks on the MNIST and CIFAR-10 datasets. Without using pretraining or other tricks, we obtain results comparable or superior to those reported in recent literature on the same tasks using standard ConvNets + MSE/cross entropy. Performance on deep/shallow multilayer perceptrons and Denoised Auto-encoders is also explored. ANRAT can be combined with other quasi-Newton training methods, innovative network variants, regularization techniques and other specific tricks in DNNs. Other than unsupervised pretraining, it provides a new perspective to address the non-convex optimization problem in DNNs.

研究の動機と目的

• 教師なし事前学習に依存せずに、深層ニューラルネットワークの学習における非凸最適化問題に対処すること。
• 最適化がより良い局所的最小値に導かれるように、凸性の性質を向上させる新しい誤差基準を開発すること。
• MSE や交差エントロピーのような標準的な損失関数の代替手段を提供し、深層アーキテクチャにおける収束性と一般化性能を向上させること。
• 非凸最適化において、凸性インデックスの適応的チューニングが、固定値やヒューリスティック手法よりも優れた性能をもたらすことを示すこと。

提案手法

• 準凸的かつ有界な正規化リスク回避誤差（NRAE）基準を提案し、安定した最適化を保証する。
• 誤差面における勾配降下法を用いて凸性インデックス λ を適応的にチューニングし、学習中に動的凸化を実現する。
• 理論的分析により、λ ≥ 1 のとき、NRAEの下界が Lp-ノルム誤差と一致することを示し、その使用の正当性を裏付ける。
• バックプロパゲーションをネットワーク重みだけでなく、凸性インデックス λ に対しても適用し、モデルと誤差構造の共同最適化を可能にする。
• ReLU、バッチ正則化、正則化（例：ドロップアウト）などの標準的な深層学習部品と組み合わせ、アーキテクチャの変更なしに利用可能である。
• 初期学習段階における平坦化や不安定な勾配を回避するため、段階的非凸化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 リスク回避誤差基準における凸性インデックス λ の適応的チューニングは、深層ニューラルネットワークの最適化を改善できるか？
• RQ2 教師なし事前学習なしで、ANRAT は深層ネットワークにおけるテスト精度において標準的なMSEおよび交差エントロピー損失を上回るか？
• RQ3 浅いネットワークにおいて、ANRAT は標準的な最適化手法と比較してどのように性能を発揮するか？
• RQ4 ANRAT はドロップアウトやバッチ正則化などの既存の深層学習技術と効果的に組み合わせられるか？
• RQ5 MLP、オートエンコーダ、ConvNet などの異なるアーキテクチャにも一般化可能か？

主な発見

• MNIST データセットにおいて、ANRAT は深層MLPで1.45%のテスト誤差を達成し、標準的なMSE（1.91%）を上回り、CEベースの手法と同等またはそれを上回った。
• CIFAR-10 において、ANRAT は深層MLPで1.45%のテスト誤差を達成し、標準的なMSEを顕著に上回り、教師あり事前学習の性能に近づいた。
• 浅いMLPでは、ANRAT が1.94%のテスト誤差を達成し、MSE（2.02%）よりわずかに優れており、CE（1.93%）と統計的に差がないことが確認された。
• ノイズパターンが複雑なノイズ除去オートエンコーダにおいて、ANRAT はMSE や CE より顕著な性能向上を示し、複雑なノイズに対して強いロバストネスを示した。
• 局所的最小値がより顕著に現れる深層ネットワークでは一貫した性能向上を示したが、標準的な最適化がすでに近似的に最適な解に到達する浅いネットワークでは僅かな改善にとどまった。
• 補足結果により、ANRAT はGDCを上回り、特に挑戦的なノイズ条件下で最先端の手法と同等の性能を発揮することが確認された。