[論文レビュー] Benign Overfitting in Two-layer Convolutional Neural Networks

Yuan Cao, Zixiang Chen+2 more|arXiv (Cornell University)|Feb 14, 2022

Model Reduction and Neural Networks被引用数 20

ひとこと要約

本論文は、勾配降下法で訓練された2層CNNにおける benign overfitting と harmful overfitting を分析し、信号対雑音比によって駆動される鋭い相転移を確立する。

ABSTRACT

Modern neural networks often have great expressive power and can be trained to overfit the training data, while still achieving a good test performance. This phenomenon is referred to as "benign overfitting". Recently, there emerges a line of works studying "benign overfitting" from the theoretical perspective. However, they are limited to linear models or kernel/random feature models, and there is still a lack of theoretical understanding about when and how benign overfitting occurs in neural networks. In this paper, we study the benign overfitting phenomenon in training a two-layer convolutional neural network (CNN). We show that when the signal-to-noise ratio satisfies a certain condition, a two-layer CNN trained by gradient descent can achieve arbitrarily small training and test loss. On the other hand, when this condition does not hold, overfitting becomes harmful and the obtained CNN can only achieve a constant level test loss. These together demonstrate a sharp phase transition between benign overfitting and harmful overfitting, driven by the signal-to-noise ratio. To the best of our knowledge, this is the first work that precisely characterizes the conditions under which benign overfitting can occur in training convolutional neural networks.

研究の動機と目的

• 過剰パラメータ化されたネットワークがデータに適合しつつ、実践的には一般化できる理由を理解する動機づけとなる（benign overfitting）。
• 過剰適合にもかかわらず、2層CNNが小さな訓練損失とテスト損失を達成できる条件を特徴づける。
• 信号-ノイズ分解を用いた非-NTKのアルゴリズム的分析をCNN学習に提供する。
• 相転移を区別するための正（benign）および負（harmful）の結果の双方を提供する。
• ニューラルネットワークの非凸な訓練ダイナミクスを分析するための方法論的ツールを導入する。

提案手法

• 固定された2層目のパラメータ（+1 および -1）を持つ2層CNNと、多項式ReLU活性化 sigma(z) = max{0,z}^q, q>2 を考える。
• フィルターを初期化、信号ベクトルmu、ノイズベクトルxi_iに分解する信号-ノイズ分解を用いる。
• 訓練を係数 gamma, rho_bar, rho_underline の離散動力学系として位置づけ、信号学習とノイズ記憶を追跡する。
• 2段階の分析を証明する：Stage 1 は一定の損失導関数の下での信号学習を示し、Stage 2 は小さな訓練損失と小さなテスト損失への収束を分析する。
• n*SNR^q = Ω(1) のとき小さなテスト損失を示す母集団損失の境界を導出し、補足的な結果として n^{-1}*SNR^{-q} = Ω(1) が示す定数オーダーのテスト損失を示す。
• NTK結果と比較して、本解析はNTK regimeにはなく、W^(t) が初期化を超えて m の多項式だけ移動することを許す。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法で訓練された2層CNNはどのようなデータとモデル条件でbenign overfittingを達成するのか？
• RQ2 信号対雑音比はサンプルサイズとネットワーク幅とどう相互作用し、信号の学習とノイズの記憶のどちらを促進するのか？
• RQ3 カーネル/NTK regimeを超えた善性と有害性の過適合の相転移を特徴づけられるか？
• RQ4 トレーニング中の信号-ノイズ分解のダイナミクスは訓練損失とテスト損失にどう影響するのか？

主な発見

• benign overfitting（小さな母集団損失）と harmful overfitting（一定の母集団損失）との間に、SNR regime による鋭い相転移が存在する。
• n * SNR^q = Ω(1) のとき、CNN は信号を学習し、訓練損失とテスト損失の両方を小さく（ε まで）達成する。
• n^{-1} * SNR^{-q} = Ω(1) のとき、CNN はノイズを記憶し、訓練損失が小さくてもテスト損失が定数オーダーにとどまる。
• 解析は、benign regime において母集団リスクの境界を指数的に小さくすることができ、高次元の一般的な境界よりも改善される。
• 本結果はNTK regime を超えて成り立ち、信号-ノイズ分解と二段階訓練分析という新規性に依存する。