[論文レビュー] Empirical Risk Minimization in the Interpolating Regime with Application to Neural Network Learning

Nicole Mücke, Ingo Steinwart|arXiv (Cornell University)|May 25, 2019

Model Reduction and Neural Networks参考文献 26被引用数 4

ひとこと要約

この論文は、モデルが訓練誤差をゼロに達する補間領域における経験的リスク最小化（ERM）の理論的保証を確立している。一部のERM手法は、大きな仮説クラスにおいて普遍的かつ一貫性があり、最適な学習レートを達成するが、他の手法は崩壊的に失敗することが示された。著者らはさらに、十分に広い深層ReLUネットワークにおいても同様の挙動が発生することを示し、弱い条件下でも一貫性と近似的最適な収束レートを証明した。

ABSTRACT

A common strategy to train deep neural networks (DNNs) is to use very large architectures and to train them until they (almost) achieve zero training error. Empirically observed good generalization performance on test data, even in the presence of lots of label noise, corroborate such a procedure. On the other hand, in statistical learning theory it is known that over-fitting models may lead to poor generalization properties, occurring in e.g. empirical risk minimization (ERM) over too large hypotheses classes. Inspired by this contradictory behavior, so-called interpolation methods have recently received much attention, leading to consistent and optimally learning methods for some local averaging schemes with zero training error. However, there is no theoretical analysis of interpolating ERM-like methods so far. We take a step in this direction by showing that for certain, large hypotheses classes, some interpolating ERMs enjoy very good statistical guarantees while others fail in the worst sense. Moreover, we show that the same phenomenon occurs for DNNs with zero training error and sufficiently large architectures.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワーク（DNN）において訓練誤差がゼロであるにもかかわらず良好な一般化が達成されるというパラドックスを解消すること。
• 大きな仮説クラスにおける経験的リスク最小化（ERM）が、一貫性と最適な学習パフォーマンスをもたらすかどうかを分析すること。
• ゼロの訓練誤差を達成しても、補間型ERM手法が成功するか失敗するかを分ける条件を同定すること。
• 古典的な非パラメトリック手法からの理論的分析を、訓練誤差がゼロのDNNに拡張すること。
• 入力次元とサンプルサイズに対して線形に増加する幅を有する特定のDNNアーキテクチャが、補間領域で一貫性と近似的最適な学習レートを達成できることを示すこと。

提案手法

• 一部の補間型最小二乗ERMアルゴリズムが普遍的かつ一貫性を示すような、大きな仮説クラス $\mathcal{H}_n$ を構築する。
• データに依存する立方体分割ルール $\pi_{m_n,s_n}$ を用いて、入力空間の分割 $\mathcal{A}_D$ を定義し、そのもとでヒストグラムベースの予測子 $h_{D,\mathcal{A}_D}$ を構成する。
• カバー数と集中不等式を用いて超過リスクをバインドし、$\mathcal{H}_\mathcal{A}$ と $|\mathcal{P}_n| \leq c n^{1+\beta}$ の $\varepsilon$-カバー数を活用する。
• バース関数が Hölder 継続的である場合の経験的ヒストグラムルールの学習レートを導出する。ここで $s_n = n^{-\gamma}$ であり、$\gamma = 1/(2\alpha + d)$ である。
• $(s_n \to 0$ かつ $\ln(ns_n^d)/(ns_n^d) \to 0$ の条件下で、超過リスクが確率的にゼロに収束することを証明する。
• 少なくとも2層の隠れ層を有するReLU DNNに結果を拡張し、一貫性と全結合ネットワークにおける $\mathcal{O}(d^2 n^2)$ の学習時間の両方を示す。

実験結果

リサーチクエスチョン

• RQ1 ゼロの訓練誤差を達成しても、大きな仮説クラスにおける経験的リスク最小化（ERM）が、依然として一貫性と最適な学習パフォーマンスを達成できるか？
• RQ2 良好に一般化する補間型ERM手法と、崩壊的に失敗する手法の違いは何か？
• RQ3 古典的な非パラメトリック手法（例：ヒストグラムルール）で観察される統計的現象が、訓練誤差がゼロの深層ニューラルネットワークに対しても同様に発生するか？
• RQ4 入力次元とサンプルサイズ $n$ に対して線形に増加する幅を有する深層ReLUネットワークが、補間領域で一貫性と近似的最適な学習レートを達成できるか？
• RQ5 データの分割方法とネットワークアーキテクチャにどのような条件が課されると、補間型予測子がベイズリスクに収束するか？

主な発見

• 一部の補間型ERM手法は、大きな仮説クラスにおいて普遍的かつ一貫性を示し、高い確率で超過リスクバインドが $\mathcal{O}(\ln(n)/n)^{2\alpha\gamma}$ の速度で減少することが示された。
• 他の補間型ERM手法は完全に失敗し、回帰関数の負の値に収束し、最適でないリスクを達成する。
• $\alpha$-Hölder継続的関数のベイズ関数に対して、提案されたヒストグラムベースのERMは、$\ln(n)$ 要素を除き既知の最適レートと一致する学習レートを達成する。
• $(\ln(ns_n^d)/(ns_n^d) \to 0$ かつ $s_n \to 0$ の条件下で、$n \to \infty$ のとき超過リスクは確率的にゼロに収束する。
• 入力次元 $d$ とサンプルサイズ $n$ に対して線形に増加する幅を有する2層以上の隠れ層を有するReLU DNNは、同じ仮定のもとで一貫性と近似的最適なレートを達成する。
• このようなDNNは、全結合ネットワークとして実装された場合、$\mathcal{O}(d^2 n^2)$ の時間で学習可能である。