[論文レビュー] Do We Need Zero Training Loss After Achieving Zero Training Error?

Takashi Ishida, Ikko Yamane+3 more|arXiv (Cornell University)|Feb 20, 2020

Quality and Safety in Healthcare参考文献 55被引用数 61

ひとこと要約

この論文は、訓練損失を小さな洪水レベル値の周りで保持する単純な |J(θ)−b|+b の目的関数を用いた正則化技術である flooding を提案し、一般化を改善し、テスト損失のダブルディセントを誘発できる。

ABSTRACT

Overparameterized deep networks have the capacity to memorize training data with zero \emph{training error}. Even after memorization, the \emph{training loss} continues to approach zero, making the model overconfident and the test performance degraded. Since existing regularizers do not directly aim to avoid zero training loss, it is hard to tune their hyperparameters in order to maintain a fixed/preset level of training loss. We propose a direct solution called \emph{flooding} that intentionally prevents further reduction of the training loss when it reaches a reasonably small value, which we call the \emph{flood level}. Our approach makes the loss float around the flood level by doing mini-batched gradient descent as usual but gradient ascent if the training loss is below the flood level. This can be implemented with one line of code and is compatible with any stochastic optimizer and other regularizers. With flooding, the model will continue to "random walk" with the same non-zero training loss, and we expect it to drift into an area with a flat loss landscape that leads to better generalization. We experimentally show that flooding improves performance and, as a byproduct, induces a double descent curve of the test loss.

研究の動機と目的

• 過parameter化されたネットワークで訓練損失がゼロに達する際の過適合を動機づける。
• 訓練損失を非ゼロの洪水レベルを課す直接的な方法を導入する。
• 標準的な最適化アルゴリズムおよび他の正則化手法との互換性を示す。
• 合成データとベンチマークデータセットで flooding を経験的に評価し、一般化の利得を評価する。

提案手法

• 洪水化した目的関数を定義する: ϕJ(θ)=|J(θ)−b|+b, ここで b>0 は洪水レベル。
• 勾配の解釈: J> b のときは重力（最小化）、J< b のときは浮力（上昇）として働く。
• ミニバッチ更新と J(θ) を計算した後の1行のコード変更で実装する。
• b をハイパーパラメータとして扱い、検証精度を最適化するために並列で探索する。
• 正則化手法（例: early stopping、weight decay、データ拡張）と flooding を組み合わせられることを示す。
• 理論的メモ: flooded リスク推定量は特定の条件下で元の推定量より MSE が小さい。

実験結果

リサーチクエスチョン

• RQ1 Flooding によって非ゼロ訓練損失を維持することは、標準的な訓練と比較して一般化を改善するか？
• RQ2 洪水レベル b はどのように選ぶべきか、Bayesリスクやデータセットの難易度とどう関係するか？
• RQ3 flooding と他の正則化手法および訓練戦略（早期停止、データ拡張 など）との相互作用は？
• RQ4 flooding はテスト損失のダブルディセントのような現象を生むか、メカニズムは？

主な発見

• Flooding は、flooding を用いないベースラインと比較して、合成データセットおよびベンチマークデータセットの多くでテスト精度を向上させる。
• 最適な洪水レベルはラベルノイズが増えるにつれて上昇する傾向があり、洪水レベルとBayesリスクの関係を示唆する。
• Flooding combined with other regularizers typically yields complementary gains and can reproduce a double descent in test loss.
• 検証によって選択された洪水レベルでは、過去適合（訓練誤差ゼロ）が依然として発生しうるが、より高い洪水レベルは訓練損失ゼロを防ぐ。
• 洪水を用いた訓練はしばしばテスト損失の景観を平坦にし、勾配の振幅を小さくする傾向があり、より良い一般化ダイナミクスを示唆する。