[論文レビュー] On the rate of convergence of a neural network regression estimate learned by gradient descent

Alina Braun, Michael Köhler+1 more|arXiv (Cornell University)|Dec 9, 2019

Neural Networks and Applications参考文献 36被引用数 6

ひとこと要約

本論文は、実際の勾配降下法で学習されたニューラルネットワーク回帰推定における、理論的収束速度の最初の確立を示し、1層の隠れ層を持つネットワークに対して勾配降下法を繰り返しランダム再初期化することで、射影追求モデルにおいて最適な収束速度（対数要因を除いて）に到達できることを示している。この手法は、ランダム初期化と反復最適化を組み合わせることで局所的最小値を回避し、近似的に最良の性能を達成する。

ABSTRACT

Nonparametric regression with random design is considered. Estimates are defined by minimzing a penalized empirical $L_2$ risk over a suitably chosen class of neural networks with one hidden layer via gradient descent. Here, the gradient descent procedure is repeated several times with randomly chosen starting values for the weights, and from the list of constructed estimates the one with the minimal empirical $L_2$ risk is chosen. Under the assumption that the number of randomly chosen starting values and the number of steps for gradient descent are sufficiently large it is shown that the resulting estimate achieves (up to a logarithmic factor) the optimal rate of convergence in a projection pursuit model. The final sample size performance of the estimates is illustrated by using simulated data.

研究の動機と目的

• 理論的に最適なニューラルネットワーク推定と、実際の応用で用いられる勾配降下法による推定との間のギャップを埋めること。
• 複数のランダム初期化を用いた勾配降下法により最小化される経験的リスクを定義する実用的ニューラルネットワーク回帰推定器の収束挙動を分析すること。
• このような実用的推定器が、射影追求モデル下で非パラメトリック回帰において最適な収束速度に到達できることを示すこと。
• 深層学習における実際の訓練手順に非常に近い方法について、理論的保証を確立すること。

提案手法

• 推定器は、勾配降下法を用いて、ネットワーククラス上での経験的 $L_2$ リスクを最小化する1層隠れ層を持つニューラルネットワークとして定義される。
• ネットワーク重みを独立かつ一様にランダムに初期化し、勾配降下手順を複数回繰り返す。
• 得られた推定値のリストの中から、経験的 $L_2$ リスクが最小となるものを最終推定器として選ぶ。
• 理論的分析では、真の回帰関数が入力の線形射影の滑らかな関数の和であるという射影追求構造を仮定する。
• ReLUネットワークのための濃度不等式と近似誤差の境界を用いて、特に区分的多項式近似において収束速度を導出する。
• 最適化誤差（勾配降下法由来）と統計的推定誤差の両方を考慮し、$L_2$ リスクに対する高確率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法にランダム再初期化を組み合わせたニューラルネットワーク回帰推定器は、非パラメトリック回帰において最適な収束速度に到達できるか？
• RQ2 勾配降下法における複数のランダム初期化の使用は、実際の応用で悪い局所的最小値に収束するリスクを効果的に軽減するか？
• RQ3 実際の訓練条件を想定した射影追求モデルにおいて、勾配降下ベースのニューラルネットワーク推定器の理論的収束速度は何か？
• RQ4 ランダム再初期化の回数と勾配降下ステップ数は、最終的な推定精度と収束速度にどのように影響するか？
• RQ5 ランダム初期化と反復最適化の組み合わせにより、ミニマックス最適速度に近い収束速度が得られるか？

主な発見

• 提案された推定器は、射影追求モデルにおける非パラメトリック回帰において、対数要因を除いて最適な収束速度に到達する。
• 収束速度は $O\bigl(\bigl(\frac{(\text{log } n)^3}{n}\bigr)^{2p/(2p+1)}\bigr)$ であり、対数項を除いてミニマックス最適速度と一致する。
• ランダム再初期化回数 $I_n$ と勾配降下ステップ数が十分に大きい場合にこの速度が達成され、特に $I_n = \text{poly}(\text{log } n)$ のときが該当する。
• 有限幅のReLUネットワークによる近似誤差は、$O(1/K^p)$ で有界であり、ここで $K$ は隠れ層のニューロン数である。
• 真の射影方向 $oldsymbol{c}_s$ を $t$-近傍内に近似できない確率は、$\exp(-I_n t^{rd/2p})$ で有界であり、真の構造の高確率回復を保証する。
• 最終的な $L_2$ リスクの境界は、統計的推定誤差、最適化誤差、近似誤差をすべて含み、高確率濃度不等式により制御される。