[論文レビュー] A Priori Estimates of the Population Risk for Residual Networks

E Weinan, Chao Ma+1 more|arXiv (Cornell University)|Mar 6, 2019

Probabilistic and Robust Engineering Design参考文献 25被引用数 42

ひとこと要約

要約: 本論文は、新しい重み付きパスノルムを用いて正則化された深層残差ネットワークの事前一般化境界を導出し、高次元で最適なレートを示し、近似誤差と推定誤差を訓練の具体的条件から分離する。

ABSTRACT

Optimal a priori estimates are derived for the population risk, also known as the generalization error, of a regularized residual network model. An important part of the regularized model is the usage of a new path norm, called the weighted path norm, as the regularization term. The weighted path norm treats the skip connections and the nonlinearities differently so that paths with more nonlinearities are regularized by larger weights. The error estimates are a priori in the sense that the estimates depend only on the target function, not on the parameters obtained in the training process. The estimates are optimal, in a high dimensional setting, in the sense that both the bound for the approximation and estimation errors are comparable to the Monte Carlo error rates. A crucial step in the proof is to establish an optimal bound for the Rademacher complexity of the residual networks. Comparisons are made with existing norm-based generalization error bounds.

研究の動機と目的

• 高次元設定における深層残差ネットワークの一般化誤差の理解を促す。
• 新しい重み付きパスノルムを持つ正則化された残差ネットワークモデルを導入する。
• ターゲット関数とネットワーク構造のみに依存する事前母集団リスク境界を確立する。
• 近似誤差と推定誤差が深さ、幅、データサイズとともに最適にスケールすることを示す。

提案手法

• スキップ接続とReLU活性化を用いたネットワークアーキテクチャを定義する（式2.1）。
• パラメータベースの正則化項として重み付きパスノルムを導入する（定義2.4）。
• 重み付きパスノルムを用いた正則化された経験リスク最小化を定式化する（式2.12）。
• Barron空間理論を用いてターゲット関数を特徴づけ、Barronノルムと近似能力の関係を示す（定義2.1–2.3）。
• 近似結果（定理2.7）、ラデマッハ複雑性制御（定理2.10）、一般化分解（定理2.5）を組み合わせて事前境界を導出する。
• サブガウスノイズを含むノイズのある設定へ結果を拡張する（定理2.6）。

実験結果

リサーチクエスチョン

• RQ1 ノルムベースの正則化を用いて正則化された残差ネットワークの母集団リスクに対して、どのような事前境界を確立できるか？
• RQ2 重み付きパスノルムは推定誤差をどのように制御し、それがネットワークの深さと幅とどう相互作用するか？
• RQ3 一般化誤差を、訓練時パラメータではなく、ターゲット関数（Barronノルム）とネットワーク構造のみに依存して境界付けできるか？
• RQ4 ノイズが事前推定に与える影響と、トランケーションがそれをどう扱えるか？
• RQ5 境界はモンテカルロ誤差レートに近い最適近似レートを達成するか？

主な発見

• 事前境界は近似項が母集団リスク ≤ O(1/(Lm))、推定項が O(1/√n) で、定数を除けばモンテカルロレートと一致する。
• 重み付きパスノルムはラデマッハ複雑性の深さ・幅と独立な事後制御を提供し、深さや幅に依存しない一般化境界成分を可能にする。
• ターゲット関数のBarronノルムが主要な近似誤差を支配し、Barronノルムが小さいほどより厳密な境界になる（関数クラスを介して）。
• 重み付きパスノルムによる正則化は、経験的リスクとモデルの複雑さの間で最適なバランスを生み出し、過パラメータ化された設定で堅牢な最小化結果をもたらす。
• 結果はサブガウスノイズにも拡張可能で、ノイズなしの場合に比べて対数的ペナルティのみを負う（定理2.6）。