[論文レビュー] The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers

Preetum Nakkiran, Behnam Neyshabur+1 more|arXiv (Cornell University)|Oct 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 77被引用数 15

ひとこと要約

この論文は、テスト誤差を、母集団損失におけるオンライン学習性能（理想世界）と、有限データに起因するブートストラップ誤差ギャップに分解する、新しいDeep Bootstrapフレームワークを導入する。実験的に、特にCNNではブートストラップギャップが小さいことが示され、良い一般化はデータ効率性だけでなく、母集団損失における高速な最適化に起因していることを示唆している。

ABSTRACT

We propose a new framework for reasoning about generalization in deep learning. The core idea is to couple the Real World, where optimizers take stochastic gradient steps on the empirical loss, to an Ideal World, where optimizers take steps on the population loss. This leads to an alternate decomposition of test error into: (1) the Ideal World test error plus (2) the gap between the two worlds. If the gap (2) is universally small, this reduces the problem of generalization in offline learning to the problem of optimization in online learning. We then give empirical evidence that this gap between worlds can be small in realistic deep learning settings, in particular supervised image classification. For example, CNNs generalize better than MLPs on image distributions in the Real World, but this is "because" they optimize faster on the population loss in the Ideal World. This suggests our framework is a useful tool for understanding generalization in deep learning, and lays a foundation for future research in the area.

研究の動機と目的

• 深層学習において、モデルが訓練誤差をゼロに達するにもかかわらず一般化がうまくいくという、古典的一般化理論の限界に対処すること。
• 現代の深層ネットワークでは性能を予測できない、既存の一般化境界の無意味さ（vacuity）を克服すること。
• 最適化における母集団損失の性能と有限サンプルからの逸脱を分離する、テスト誤差の代替的分解を提案すること。
• 無限データにおけるオンライン最適化と有限サンプルにおけるブートストラップ効果を焦点とした、新たな研究アジェンダを確立すること。

提案手法

• 2つの世界を定義する：現実世界（有限データで勾配の確率的更新を行う）と理想世界（各ステップで新規のサンプルを用いて母集団損失を最適化する）
• テスト誤差を次のように分解する：TestError(f_t) = TestError(f^iid_t) + [TestError(f_t) - TestError(f^iid_t)] ここで f^iid_t は理想世界で訓練されたモデルである
• 理想世界のテスト誤差を、真のデータ分布におけるオンライン最適化性能の代理指標として使用する
• ブートストラップ誤差を、現実世界と理想世界のテスト誤差の差として測定し、有限サンプルからの逸脱を反映する
• 同一のアーキテクチャとハイパーパrameterを用い、異なるサンプリング戦略（再利用 vs. 新規サンプル）を用いて両世界でモデルを訓練する
• CIFAR-10に類似したデータセットおよびImageNetデータセット上で、異なるデータ環境におけるCNNとMLPの比較を通じて、フレームワークを実験的に評価する

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの一般化性能は、母集団損失における高速な最適化能力によって説明可能か？
• RQ2 現実的な深層学習環境において、有限データ（現実世界）と無限データ（理想世界）の訓練におけるブートストラップ誤差ギャップはどれほど小さいか？
• RQ3 CNNとMLPは類似した誘導的バイアスを持つにもかかわらず、なぜ画像データセットではCNNの方が一般化が良いのか？
• RQ4 実際の状況において、理想世界のテスト誤差は現実世界のテスト誤差をどれほどよく予測できるか？
• RQ5 ブートストラップフレームワークは、古典的手法に比べてより予測可能で解釈可能な一般化理論を提供できるか？

主な発見

• 実際の状況において、現実世界と理想世界の間のブートストラップ誤差ギャップは小さいことが示され、特にCNNでは顕著で、一般化は主に母集団損失における最適化に起因していることを示唆している。
• CNNが画像データセットでMLPよりも一般化が良いのは、アーキテクチャのバイアスそのものではなく、理想世界における母集団損失の高速な最適化に起因する。
• 複数のアーキテクチャとデータ環境において、理想世界のテスト誤差が現実世界のテスト誤差をよく追跡しており、フレームワークの予測力が裏付けられた。
• CIFAR-10に500万サンプルを用いたResNet-18では、理想世界のテスト誤差が現実世界のテスト誤差と1.5%以内に収まっており、標準的な分解では大きな一般化ギャップが見られるにもかかわらず、その結果が得られている。
• このフレームワークにより、深層学習における一般化は、有限サンプルの一般化ギャップとしてではなく、真のデータ分布におけるオンライン最適化の性質としてより良く理解できるようになった。
• 実験結果から、古典的手法が失敗する状況でも、ブートストラップフレームワークはアーキテクチャ間の一般化の違いを説明可能であることが示された。