[論文レビュー] Function Norms and Regularization in Deep Networks

Amal Rannen Triki, Maxim Berman+1 more|arXiv (Cornell University)|Oct 18, 2017

Neural Networks and Applications参考文献 41被引用数 5

ひとこと要約

本稿では、関数の複雑さを直接ペナルティ化できないという課題に応えるために、重み付き関数ノルムの確率的近似を深層ニューラルネットワークの新しい正則化手法として提案する。関数ノルムの計算がReLUネットワークにおいてNP困難であることを証明し、近似の必要性を裏付ける。実験的に、画像分類およびセグメンテーションタスクにおいて、重み減衰、ドロップアウト、バッチ正規化と比較して一般化性能が向上することを示した。

ABSTRACT

Deep neural networks (DNNs) have become increasingly important due to their excellent empirical performance on a wide range of problems. However, regularization is generally achieved by indirect means, largely due to the complex set of functions defined by a network and the difficulty in measuring function complexity. There exists no method in the literature for additive regularization based on a norm of the function, as is classically considered in statistical learning theory. In this work, we propose sampling-based approximations to weighted function norms as regularizers for deep neural networks. We provide, to the best of our knowledge, the first proof in the literature of the NP-hardness of computing function norms of DNNs, motivating the necessity of an approximate approach. We then derive a generalization bound for functions trained with weighted norms and prove that a natural stochastic optimization strategy minimizes the bound. Finally, we empirically validate the improved performance of the proposed regularization strategies for both convex function sets as well as DNNs on real-world classification and image segmentation tasks demonstrating improved performance over weight decay, dropout, and batch normalization. Source code will be released at the time of publication.

研究の動機と目的

• 深層ニューラルネットワークにおいて、通常は重み減衰などの間接的手段によって正則化されるが、関数ノルムの直接的正則化の欠如に対処すること。
• ReLUベースの深層ネットワークにおける関数ノルムの計算がNP困難であることを示し、近似に基づくアプローチの理論的動機を裏付けること。
• 原理的な正則化を可能にするために、重み付き関数ノルムの近似を実現する確率的最適化フレームワークを構築すること。
• 実世界のビジョンタスクにおいて、関数ノルム正則化が標準ベースラインと比較して一般化性能を向上させることを実証的に検証すること。
• 古典的学習理論が関数ノルム正則化に依存しているのに対し、深層学習ではこのような正則化が欠落しているというギャップを埋めること。

提案手法

• 重み付き$L_2$関数ノルムのサンプリングに基づく近似を正則化項として提案し、確率的最適化を可能にする。
• ReLUベースの深層ネットワークにおける関数ノルムの計算がNP困難であることを証明し、近似の理論的妥当性を確立する。
• 期待誤差を制御する一般化境界を導出し、関数ノルム正則化がラデマッハ複雑度境界と類似した役割を果たすことを示す。
• 関数ノルムの近似を入力サンプリングによって行い、一般化境界の最小化を実現する確率的最適化戦略を導入する。
• バックプロパゲーションアルゴリズムを用いて、近似関数ノルムの勾配を計算し、エンドツーエンド学習を可能にする。
• 関数ノルムの近似に使用する入力を、別個のラベルなしデータセットからサンプリングすることで、半教師あり正則化を実現する。

実験結果

リサーチクエスチョン

• RQ1 重み減衰のような間接的測定ではなく、関数のノルムを直接正則化することは可能か？
• RQ2 ReLUベースの深層ニューラルネットワークにおける関数ノルムの計算の計算複雑度は何か？
• RQ3 関数ノルムの確率的近似は、確率的勾配降下法において一般化性能の向上に有効に使用できるか？
• RQ4 実際の応用において、関数ノルム正則化はドロップアウト、バッチ正規化、重み減衰といった既存手法と比較してどのように異なるか？
• RQ5 関数ノルム正則化は、特に画像セグメンテーションにおいて低データ環境でより良いパフォーマンスをもたらすか？

主な発見

• ReLUベースの深層ニューラルネットワークにおける関数ノルムの計算がNP困難であることが証明され、近似手法の使用が正当化された。
• 重み付き$L_2$関数ノルムの確率的近似は、MNISTおよびオックスフォード・フラワーズデータセットにおいて、重み減衰、ドロップアウト、バッチ正規化と比較して一貫した一般化性能の向上を示した。
• 500枚の訓練画像しか存在しないCityscapesデータセットにおいて、関数ノルム正則化により平均IoUがベースラインの47.15％から向上し、低データ環境下での有効性が示された。
• 実験的評価において、Kawaguchiら（2017）の正則化子よりも本手法が収束性および一般化性能の点で優れていた。
• 実験結果から、確率的ノルム近似に用いられるサンプリング手順が、より良い一般化をもたらすことが明らかになった。バリデーション精度の向上とセグメンテーション品質の向上がその証左となった。
• 本手法は、ENetの2段階学習プロトコルのような標準的なトレーニングプロトコルと組み合わせても有効であり、複雑な半教師ありアーキテクチャを必要とせずに明確な向上効果を示した。