[論文レビュー] Training Neural Networks for and by Interpolation

Leonard Berrada, Andrew Zisserman+1 more|arXiv (Cornell University)|Jun 13, 2019

Neural Networks and Applications参考文献 56被引用数 6

ひとこと要約

この論文は、モデルの補間性を活用して学習率を閉形式で計算する、深層ニューラルネットワーク向けの適応的最適化手法ALI-Gを紹介する。これにより、手動による学習率スケジューリングの必要がなくなる。ALI-Gは、複数のアーキテクチャとデータセットで最先端の性能を達成し、SGD や Adam などの適応的手法と同等またはそれを上回るが、ハイパーパrameterのチューニングが最小限で済む。

ABSTRACT

In modern supervised learning, many deep neural networks are able to interpolate the data: the empirical loss can be driven to near zero on all samples simultaneously. In this work, we explicitly exploit this interpolation property for the design of a new optimization algorithm for deep learning, which we term Adaptive Learning-rates for Interpolation with Gradients (ALI-G). ALI-G retains the two main advantages of Stochastic Gradient Descent (SGD), which are (i) a low computational cost per iteration and (ii) good generalization performance in practice. At each iteration, ALI-G exploits the interpolation property to compute an adaptive learning-rate in closed form. In addition, ALI-G clips the learning-rate to a maximal value, which we prove to be helpful for non-convex problems. Crucially, in contrast to the learning-rate of SGD, the maximal learning-rate of ALI-G does not require a decay schedule, which makes it considerably easier to tune. We provide convergence guarantees of ALI-G in various stochastic settings. Notably, we tackle the realistic case where the interpolation property is satisfied up to some tolerance. We provide experiments on a variety of architectures and tasks: (i) learning a differentiable neural computer; (ii) training a wide residual network on the SVHN data set; (iii) training a Bi-LSTM on the SNLI data set; and (iv) training wide residual networks and densely connected networks on the CIFAR data sets. ALI-G produces state-of-the-art results among adaptive methods, and even yields comparable performance with SGD, which requires manually tuned learning-rate schedules. Furthermore, ALI-G is simple to implement in any standard deep learning framework and can be used as a drop-in replacement in existing code.

研究の動機と目的

• SGDにおける手動による学習率スケジューリングの課題に対処すること。これは時間のかかる作業であり、チューニングが困難である。
• SGDの一般化性能を維持しつつ、学習率の衰減の必要をなくした適応的最適化アルゴリズムを設計すること。
• 現代の深層ネットワークの補間性（損失をほぼゼロにまで低下させられる性質）を活用して、理論的裏付けのある適応的学習率を導出すること。
• 補間が正確ではなく近似的である現実的な条件下でも収束保証を提供すること。
• 標準的なディープラーニングフレームワークと互換性があり、簡単に統合可能なシンプルで即時使用可能な最適化手法を開発すること。

提案手法

• ALI-G は、損失と勾配ノルムの比を用いて、補間モデルにおける損失がゼロに近づくという事実を活用し、閉形式で適応的学習率を計算する。
• 学習率を最大値にクリッピングする。これは非凸問題における収束を改善することが証明されている。
• 最大学習率は1つの非衰減ハイパーパrameterであり、Adam や aProx などの手法と比較してチューニングが簡素化される。
• ALI-G は確率的設定で動作し、正則化を扱うために制約集合 Ω を使用する。これにより、射影が計算的に効率的になる。
• 理論的分析により、凸性および制限付きセカント不等式（RSI）条件下での収束速度を確立。最小損失の近似推定値が存在する場合でも成立する。
• サブ勾配法の原則に基づいて導出され、Frank-Wolfe や L4 と密接に関連しているが、理論的裏付けが強化され、ハイパーパrameterが少ない。

実験結果

リサーチクエスチョン

• RQ1 現代の深層ネットワークの補間性を用いて、閉形式で適応的学習率を計算できるか？
• RQ2 衰えのない固定最大学習率は、非凸最適化において衰減を必要とせずに収束を改善するか？
• RQ3 ALI-G は多様なアーキテクチャとデータセットで最先端の性能を達成できるか？また、ハイパーパrameterのチューニングが最小限で済むか？
• RQ4 SGD が手動の学習率スケジューリングを必要とする状況において、ALI-G は実際の性能が SGD や Adam などの適応的手法と比べてどうか？
• RQ5 近似的補間および確率的設定下での ALI-G の理論的収束保証は何か？

主な発見

• CIFAR-10 および CIFAR-100 データセットにおいて、ALI-G は Wide Residual Networks や DenseNet に対して、Adam や AMSGrad、L4 の変種を上回る最先端のテスト精度を達成した。
• SVHN では、ALI-G は手動の学習率スケジューリングを施した SGD と同等の性能を示し、WRN100 で 95.3% の精度を達成した（SGD は 95.1%）。
• Bi-LSTM を用いた SNLI データセットでも、ALI-G は競争力ある性能を示し、視覚タスクを超えた一般化能力を示した。
• ImageNet では、データオーグメンテーションなしで、ALI-G は Adam や SGD と同等のトップ5精度を達成し、非衰減の学習率ハイパーパrameterを1つだけ使用した。
• ALI-G の複数回の実行における標準偏差は常に低く（例：WRN100 では 0.09–0.22）、高い訓練安定性を示した。
• 理論的分析により、RSI および滑らかさの仮定下で、ALI-G が線形収束することを確認。収束速度は最大学習率および問題定数に依存する。