[論文レビュー] Constraint-Based Regularization of Neural Networks

Benedict Leimkuhler, Timothée Pouchon+2 more|arXiv (Cornell University)|Jun 17, 2020

Stochastic Gradient Optimization Techniques参考文献 55被引用数 6

ひとこと要約

本稿では、ラングヴィン動力学を用いて、直交性や円制約などの代数的制約を確率的最適化に統合することで、深層ニューラルネットワークの学習を安定化させ、消失／爆発勾配問題を軽減し、一般化性能を向上させる、制約に基づく正則化フレームワークを提案する。この手法は、画像分類、自然言語処理（NLP）、および合成タスクにおいて、標準的なSGDにモーメンタムと重み減衰を適用する手法を上回る最先端の性能を達成している。

ABSTRACT

We propose a method for efficiently incorporating constraints into a stochastic gradient Langevin framework for the training of deep neural networks. Constraints allow direct control of the parameter space of the model. Appropriately designed, they reduce the vanishing/exploding gradient problem, control weight magnitudes and stabilize deep neural networks and thus improve the robustness of training algorithms and the generalization capabilities of the trained neural network. We present examples of constrained training methods motivated by orthogonality preservation for weight matrices and explicit weight normalizations. We describe the methods in the overdamped formulation of Langevin dynamics and the underdamped form, in which momenta help to improve sampling efficiency. The methods are explored in test examples in image classification and natural language processing.

研究の動機と目的

• 制約を深層ニューラルネットワークの学習に組み込む理論的・柔軟性に優れたフレームワークの開発。
• パrameter空間の直接的制御により、消失／爆発勾配問題を解消し、学習のロバスト性を向上させる。
• バッチ正則化などの暗黙の正則化技術を、明示的で解釈可能な制約に置き換えるか簡素化する。
• 制約付きラングヴィン動力学が、画像およびNLPベンチマークにおいて、標準的なSGDにモーメンタムと重み減衰を適用する手法を上回ることを示す。
• 深層学習における探索性と一般化性能を向上させる、統一的かつエルゴディックなサンプリングフレームワークを提供する。

提案手法

• g(q) = 0 で定義される制約付きパrameter多様体からサンプリングするため、過減衰および未減衰のラングヴィン動力学を用いる。
• 不等式制約（例：円制約による重みの大きさの制限）を扱うためにスラック変数を導入する。
• 各ステップで制約を強制するための射影に基づく更新を適用し、パラメータが制約多様体上に留まるように保証する。
• ノイズ項と勾配項を含む数値積分のための修正版Euler-Maruyamaスキームを採用する。
• 重み行列の正規直交性を維持する射影に基づく手法を用いて、直交性制約を適用する。
• 温度制御された摂動を用いて、サンプリングプロセスにおける探索性と収束性のバランスを調整する。

実験結果

リサーチクエスチョン

• RQ1 代数的制約を、深層ニューラルネットワークの確率的勾配学習に効率的に統合することで、一般化性能の向上が可能か？
• RQ2 制約を用いて直交性や重みノルムの有界性を強制することで、消失／爆発勾配問題が軽減されるか？
• RQ3 制約付きラングヴィン動力学は、標準的なSGDにモーメンタムと重み減衰を適用する手法と比較して、テスト精度および損失において優れているか？
• RQ4 制約に基づく正則化が、バッチ正則化などの暗黙の正則化技術を置き換えたり簡素化したりできるか？
• RQ5 制約の強制が、さまざまなアーキテクチャおよびデータセットにおいて、学習の安定性と収束速度に与える影響は何か？

主な発見

• ResNet-34をCIFAR-10で学習する際、直交性制約を有する o-CoLA-od 法は、標準的なSGDよりも低いテスト損失と高いテスト精度を達成し、一般化性能が向上し、過学習が軽減された。
• Fashion-MNISTデータセットでは、円制約付きネットワークが87.61%のテスト精度（テスト損失0.386）を達成し、最良のベースラインであるSGDにモーメンタムと重み減衰を適用する手法（87.47%）を上回った。
• Penn Treebankデータセットでは、200エポック経過後、c-CoLA-ud 法がSGD-m より低い検証損失を達成し、最適化の安定性が向上していることを示した。
• らせん分類タスク（二値分類）では、τ = 0 で収束する o-CoLA-od 法が、制約なしのSGDよりも低い損失とより優れた一般化性能を達成した。
• 制約付きラングヴィン手法は、画像分類、NLP、および合成データを含む多様なタスクで一貫した改善を示し、広範な適用可能性を示した。
• この手法により、バッチ正則化、残差接続、学習率の段階的減少なしに安定した学習が可能であることが、直交初期化を用いた10,000層のCNNの学習例から示された。