[論文レビュー] A Closer Look at Memorization in Deep Networks

Devansh Arpit, Stanisław Jastrzȩbski+9 more|arXiv (Cornell University)|Jun 16, 2017

Adversarial Robustness in Machine Learning参考文献 24被引用数 357

ひとこと要約

本論文は、実データとノイズでの訓練を比較することにより深層ネットワークにおける記憶化を調査し、ネットワークはまず単純なパターンを学習し、正則化がノイズの記憶化を抑制できる一方で実データの学習を損なわないことを示している。

ABSTRACT

We examine the role of memorization in deep learning, drawing connections to capacity, generalization, and adversarial robustness. While deep networks are capable of memorizing noise data, our results suggest that they tend to prioritize learning simple patterns first. In our experiments, we expose qualitative differences in gradient-based optimization of deep neural networks (DNNs) on noise vs. real data. We also demonstrate that for appropriately tuned explicit regularization (e.g., dropout) we can degrade DNN training performance on noise datasets without compromising generalization on real data. Our analysis suggests that the notions of effective capacity which are dataset independent are unlikely to explain the generalization performance of deep networks when trained with gradient based methods because training data itself plays an important role in determining the degree of memorization.

研究の動機と目的

• 勾配ベースの訓練の下で深層ニューラルネットワークにおける記憶化の現れ方を検証する。
• 実データとランダムノイズに基づく学習ダイナミクスを対比し、パターンの役割を理解する。
• データセットの特性と正則化が記憶化と汎化に与える影響を評価する。

提案手法

• ノイズ（ランダムな入力/ラベル）と実データで DNN を訓練し、記憶化を操作的に定義する。
• 実データとノイズデータの間で学習ダイナミクス、勾配ベースの感度、特徴パターンを比較する。
• 損失感度とCritical Sample Ratio (CSR) を導入・測定し、意思決定境界の複雑さを定量化する。
• 異なるノイズレベルとデータセットサイズの下で容量と実効容量を分析する。
• 正則化手法（例：ドロップアウト）および敵対的訓練が記憶化の速度と汎化に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 SGD ベースの訓練の下で DNN は実データをランダムノイズと異なる形で記憶化するか？
• RQ2 ネットワークは memorization の前に単純なパターンを学習するか、これはデータの現実性に依存するか？
• RQ3 実データとノイズデータの両方に対して、データセットサイズ、容量、正則化が記憶化と汎化にどう影響するか？
• RQ4 正則化は実データの学習を損なうことなくノイズの記憶化を遅らせることができるか？
• RQ5 損失感度や CSR のような指標は、データセット間で記憶化ダイナミクスをどのように示すか？

主な発見

• 実データで訓練された DNN はノイズで訓練する場合と最適化において質的な差を示す。
• 実データで訓練すると、ネットワークは memorization の前にまず単純なパターンを学習する傾向がある。
• 明示的な正則化（例：ドロップアウト）はノイズデータでの memorization を遅らせるが、実データの学習を大きく損なうことはない。
• ノイズデータの記憶はノイズ分数の増加と学習期間の延長に伴い増大し、より高い実効的複雑さを示す。
• 損失感度とCSRは、実データがより構造化されたパターンベースの学習を誘導する一方で、ノイズはより広範で選択性の低い感度を生み出すことを示す。
• 容量はノイズレベルと相互作用し、高容量はノイズ入力の memorization を助ける一方、実データの性能は中程度の容量で堅牢のままである。