[論文レビュー] Mollifying Networks

Çaǧlar Gülçehre, Marcin Moczulski+2 more|arXiv (Cornell University)|Aug 17, 2016

Stochastic Gradient Optimization Techniques参考文献 15被引用数 4

ひとこと要約

本稿では、1つの緩和化ハイパーパrameterを用いて損失関数に微分可能かつ滑らかな平滑化（モリフィケーション）を適用することで、段階的にモデルの複雑さを増す、Mollifying Networksと呼ばれる新しい最適化手法を提案する。初期段階では凸で滑らかな目的関数から始め、徐々に平滑化を弱めていくことで、深く非凸なモデル（例えば深層MLPやLSTM）の学習安定性と収束性が向上する。ResNet や確率的深さ（stochastic depth）と比較して、パリティ、ペントミノ、CIFAR-10、言語モデリングのタスクで最先端の性能を達成した。

ABSTRACT

The optimization of deep neural networks can be more challenging than traditional convex optimization problems due to the highly non-convex nature of the loss function, e.g. it can involve pathological landscapes such as saddle-surfaces that can be difficult to escape for algorithms based on simple gradient descent. In this paper, we attack the problem of optimization of highly non-convex neural networks by starting with a smoothed -- or extit{mollified} -- objective function that gradually has a more non-convex energy landscape during the training. Our proposition is inspired by the recent studies in continuation methods: similar to curriculum methods, we begin learning an easier (possibly convex) objective function and let it evolve during the training, until it eventually goes back to being the original, difficult to optimize, objective function. The complexity of the mollified networks is controlled by a single hyperparameter which is annealed during the training. We show improvements on various difficult optimization tasks and establish a relationship with recent works on continuation methods for neural networks and mollifiers.

研究の動機と目的

• 極めて非凸な深層ニューラルネットワークの最適化の難しさに対処すること。特に、病理的とされる損失関数のランドスケープを有するモデルを対象とする。
• シグモイド／タンジェント活性化関数を用いる深層MLP やLSTMのようなモデルにおける、学習の安定性と収束性の向上。
• 継続法、モリファイア、およびニューラルネットワーク最適化における適応的ノイズ注入の間の関係を調査すること。
• バッチ正規化 や残差接続といった複雑な正則化法やアーキテクチャ的工夫の代替として、単一のハイパーパrameterで実現可能なシンプルな手法を提供すること。

提案手法

• 本手法は、元の損失関数の滑らかで凸な近似としてのモリフィケーション済み目的関数を用い、トレーニング中に1つのハイパーパラメータの緩和化により徐々に平滑化を解除する。
• モリフィケーションは、モリファイアカーネルを用いた微分可能な平滑化操作として実装され、弱い微分とモンテカルロ推定を介して勾配計算が可能となる。
• ハイパーパラメータは、損失関数の平滑化レベルと同時にネットワークの確率的深さを制御しており、モデルが初期段階では浅く凸的になり、次第に深くなり複雑になるように設計されている。
• 緩和スケジュールは適応的である：ハイパーパラメータはトレーニング損失または検証損失に基づいて調整され、性能が悪い際にはノイズを増加させ、収束に近づくと減少させる。
• SGD with momentum などの標準的な最適化アルゴリズムと互換性があり、MLP、CNN、LSTM といったさまざまなアーキテクチャに適用可能である。
• 本手法は継続法および分布的勾配の理論的枠組みに基づいており、既存の平滑化および正則化手法と結びついている。

実験結果

リサーチクエスチョン

• RQ1 損失関数の滑らかで凸な近似が、深く非凸なニューラルネットワークにおける最適化を改善できるか？
• RQ2 平滑化と確率的深さの両方を制御する1つのハイパーパラメータを緩和することで、学習ダイナミクスと収束性にどのような影響を与えるか？
• RQ3 モリフィケーションは、バッチ正規化 や残差接続といった確立された手法を上回ることができるか？
• RQ4 モリフィケーションによる適応的ノイズ注入が、一般化性能およびテスト性能に与える影響は何か？

主な発見

• 40次元のパリティタスクでは、シグモイド活性化関数を用いたモリフィケーション済みMLPが、標準的および残差接続ベースラインと比較して著しく高速に収束した。
• ペントミノデータセットでは、100エポック後、モリフィケーション済みMLPが75.15%の正確度を達成し、ベースラインモデル（69.5%）および以前のSOTA（68.15%）を上回った。
• 110層の畳み込みネットワークを用いたCIFAR-10では、モリフィケーション済みモデルが92.45%のテスト正確度を達成し、ResNet（91.78%）を上回り、確率的深さ（93.25%）に近づいた。
• PTB言語モデリングタスクでは、モリフィケーション済みLSTMが123.6のテストパープレキシティを達成し、ベースラインLSTM（128.4）を上回り、収束が速かった。
• トレーニング損失に基づく適応的緩和スケジュールは、必要なときに探索を促進し、収束に近づくとノイズを減少させる効果的なノイズ注入を実現した。
• 本手法は、多様なアーキテクチャとタスクにおいて一般化性能と安定性が向上しており、制御されたノイズ注入を通じてモリフィケーションが正則化の役割を果たしている可能性を示唆している。