[論文レビュー] Stochastic Weighted Function Norm Regularization.

Amal Rannen Triki, Maxim Berman+1 more|arXiv (Cornell University)|Oct 18, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用数 1

ひとこと要約

本稿では、重み付き関数ノルムのサンプリングに基づく近似を用いた、深層ニューラルネットワークのための新しい確率的正則化手法を提案する。正確な計算のNP困難性を証明し、凸関数集合に対して一般化境界が𝒪(N⁻¹ᐟ²)であることを確立する。この手法により、確率的勾配降下法を用いた安定な学習が可能となり、実世界の分類およびセグメンテーションタスクで改善された性能を示す。

ABSTRACT

Deep neural networks (DNNs) have become increasingly important due to their excellent empirical performance on a wide range of problems. However, regularization is generally achieved by indirect means, largely due to the complex set of functions defined by a network and the difficulty in measuring function complexity. There exists no method in the literature for additive regularization based on a norm of the function, as is classically considered in statistical learning theory. In this work, we propose sampling-based approximations to weighted function norms as regularizers for deep neural networks. We provide, to the best of our knowledge, the first proof in the literature of the NP-hardness of computing function norms of DNNs, motivating the necessity of a stochastic optimization strategy. Based on our proposed regularization scheme, stability-based bounds yield a $\mathcal{O}(N^{-\frac{1}{2}})$ generalization error for our proposed regularizer when applied to convex function sets. We demonstrate broad conditions for the convergence of stochastic gradient descent on our objective, including for non-convex function sets such as those defined by DNNs. Finally, we empirically validate the improved performance of the proposed regularization strategy for both convex function sets as well as DNNs on real-world classification and segmentation tasks.

研究の動機と目的

• 統計的学習理論において理論的に重要である一方で、深層ニューラルネットワークにおける関数ノルムに基づく直接的・加法的な正則化の欠如に取り組む。
• DNNにおける関数複雑度の測定の計算的非実行可能性を克服するため、重み付き関数ノルムのためのサンプリングに基づく近似を提案する。
• 凸および非凸設定の両方において、一般化誤差および確率的最適化の収束に対する理論的保証を確立する。
• 分類およびセグメンテーションタスクにおける実世界の深層学習タスクでの一般化性能の向上を実現する実用的な正則化フレームワークを提供する。
• 実証的検証を通じて、深層学習における関数ノルムに基づく正則化の実現可能性と有効性を示す。

提案手法

• 重み付き関数ノルムのためのサンプリングに基づく近似を正則化項として提案し、深層ネットワークにおける取り扱い可能な最適化を可能にする。
• 我々の知る限り、DNNにおける正確な関数ノルムの計算がNP困難であることを証明し、確率的近似の必要性を正当化する。
• 提案された正則化項の下で、凸関数集合に対して𝒪(N⁻¹ᐟ²)の順序の安定性に基づく一般化境界を導出する。
• 確率的勾配降下法と互換性のある確率的最適化フレームワークを設計し、凸および非凸関数集合の両方において収束を保証する。
• 分類およびセグメンテーションタスクのための標準的な深層学習トレーニングパイプラインに正則化項を統合する。
• モンテカルロサンプリングを用いて重み付き関数ノルムを推定し、スケーラブルで微分可能な正則化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関数ノルムに基づく正則化が、関数複雑度の測定の計算的困難性にもかかわらず、深層ニューラルネットワークに効果的に適用可能か？
• RQ2 DNNにおける関数ノルムの計算はNP困難であるか？ そして、これがサンプリングに基づく近似の使用を正当化するか？
• RQ3 提案された正則化項に対して、凸関数集合における一般化誤差境界はどのようなものか？
• RQ4 DNNによって定義される非凸関数集合に対して、確率的勾配降下法が提案された目的関数で収束するか？
• RQ5 提案された正則化は、実世界の分類およびセグメンテーションタスクにおける一般化性能を向上させるか？

主な発見

• 深層ニューラルネットワークにおける関数ノルムの計算がNP困難であることが証明され、サンプリングに基づく近似の使用が正当化された。
• 提案された正則化は、凸関数集合に対して𝒪(N⁻¹ᐟ²)の一般化誤差境界を達成し、理論的根拠を提供した。
• 提案された正則化を用いる場合、凸および非凸関数集合の両方において、広範な条件下で確率的勾配降下法が収束することが確認された。
• 実証的結果から、実世界の分類およびセグメンテーションタスクで性能が向上しており、正則化戦略の有効性が検証された。
• 重み付き関数ノルムのサンプリングに基づく近似により、深層学習におけるスケーラブルで微分可能な正則化が可能になった。
• 本手法は、関数ノルムに基づく直接的・加法的な正則化を提供する——深層学習正則化分野における文献の空白を埋める。