[論文レビュー] Analysis of the rate of convergence of an over-parametrized deep neural network estimate learned by gradient descent

Michael Köhler, Adam Krzyżak|arXiv (Cornell University)|Oct 4, 2022

Mathematical Approximation and Integration被引用数 4

ひとこと要約

この論文は、非パラメトリック回帰における勾配降下法で訓練される過パラメータ化された深層ニューラルネットワーク推定器の収束速度を分析する。 Hölder滑らかさ指数 $p \in [1/2,1]$ を持つ回帰関数に対して、期待 $L_2$ 誤差が $n^{-1/(1+d)}$ に近い速度で収束することを確立し、適切な初期化および勾配降下のハイパーパrameter選択のもとで、相互作用モデルでは $d^*$ 次元の最適レートを達成する。

ABSTRACT

Estimation of a regression function from independent and identically distributed random variables is considered. The $L_2$ error with integration with respect to the design measure is used as an error criterion. Over-parametrized deep neural network estimates are defined where all the weights are learned by the gradient descent. It is shown that the expected $L_2$ error of these estimates converges to zero with the rate close to $n^{-1/(1+d)}$ in case that the regression function is Hölder smooth with Hölder exponent $p \in [1/2,1]$. In case of an interaction model where the regression function is assumed to be a sum of Hölder smooth functions where each of the functions depends only on $d^*$ many of $d$ components of the design variable, it is shown that these estimates achieve the corresponding $d^*$-dimensional rate of convergence.

研究の動機と目的

• 過パラメータ化と最適化ダイナミクスを無視する既存理論のギャップを埋めるために、勾配降下法で訓練される過パラメータ化された深層ニューラルネットワークの収束特性を理論的に分析すること。
• 現実的な訓練条件のもとで、非パラメトリック回帰における深層ニューラルネットワーク推定器の期待 $L_2$ リスクの収束速度を確立すること。
• 過パラメータ化されたネットワークが勾配降下法で訓練されても、パラメータ数が標本サイズを上回っていても、ほぼ最適なレートを達成できることを示すこと。
• 回帰関数が入力の $d^*$ 個の成分にのみ依存する相互作用モデルにおいて、このような推定器が $d^*$ 次元のレートを達成できるかどうかを調査すること。
• 現実の訓練ダイナミクス（ランダム初期化と勾配降下）を収束速度解析に組み込むことで、実践的ディープラーニングと理論的分析のギャップを埋めること。

提案手法

• 著者らは、すべての重みをランダム初期化から勾配降下法で学習する過パラメータ化された深層ニューラルネットワーク推定器を定義する。
• 初期化制約によって重みが有界になるようにし、その制約のもとで重みクラスのメトリックエントロピー境界を用いて一般化誤差を制御する。
• 最適化プロセスは正則化を導入し、ステップサイズとステップ数を有界にすることで、勾配降下中の内部重みの変化を制御することで分析する。
• 過パラメータ化とネットワークトポロジーにより近似誤差を制御し、高確率で初期内部重みのサブセットが、外部重みが適切に訓練された場合に良好な近似を可能にするようにする。
• 理論的解析では、メトリックエントロピー、テイラー近似、および区分的多項式近似を組み合わせ、被覆数をバウンドし、一般化誤差を制御する。
• 主な技術的ツールには、ネットワーク関数の導関数のバウンドと、重み制約によって誘導される関数クラスの被覆数推定が含まれる。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法で訓練される過パラメータ化された深層ニューラルネットワークは、非パラメトリック回帰においてほぼ最適な収束速度を達成できるか？
• RQ2 真の回帰関数が Hölder滑らかさ指数 $p \in [1/2,1]$ を持つ場合、このような推定器の期待 $L_2$ 誤差の収束速度はいかほどか？
• RQ3 回帰関数が入力の $d^*$ 個の成分にのみ依存する相互作用モデルにおいて、推定器は $d^*$ 次元の最適収束速度を達成するか？
• RQ4 初期化制約および勾配降下のハイパーパrameter（ステップサイズ、ステップ数）は、一般化および近似特性にどのように影響するか？
• RQ5 過パラメータ化の下で、確率的または決定的勾配降下法で訓練された深層ネットワークに対して、理論的収束保証を導出できるか？

主な発見

• Hölder滑らかさ指数 $p \in [1/2,1]$ を持つ条件下で、勾配降下法で訓練される過パラメータ化された深層ニューラルネットワーク推定器の期待 $L_2$ 誤差は、任意の $\epsilon > 0$ に対して、$n^{-1/(1+d) + \epsilon}$ のオーダーでゼロに収束する。
• 回帰関数が $d^*$ 変数の Hölder滑らか関数の和で表される相互作用モデルでは、推定器は $d^*$ 次元の最適収束速度 $n^{-2p/(d^*+1)}$ を達成する。
• 収束速度はほぼ最適であり、$n^{-1/(1+d)}$ に近づき、Hölder滑らかさの下での非パラメトリック回帰のミニマックスレートと一致する。
• 解析により、高確率でランダムに初期化された内部重みのサブセットが、外部重みが適切に訓練された場合に良好な近似を可能にすることが示された。
• 勾配降下のステップ数とステップサイズは、内部重みの大きな変化を防ぐように慎重に選ばれており、安定性と一般化を保証する。
• 理論的バウンドは、有界重みを持つニューラルネットワーク関数クラスのメトリックエントロピーおよび被覆数推定に依存し、テイラーに基づく近似議論と組み合わせられる。