[論文レビュー] An Empirical Study of Example Forgetting during Deep Neural Network Learning

Mariya Toneva, Alessandro Sordoni+4 more|arXiv (Cornell University)|Dec 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 199

ひとこと要約

この論文はSGD中の個々の学習例に対する forgetting events を定義・分析し、忘れられない例と忘れやすい例、アーキテクチャを超えた安定性、そして忘れやすい例を削除することで一般化が保たれることを示す。

ABSTRACT

Inspired by the phenomenon of catastrophic forgetting, we investigate the learning dynamics of neural networks as they train on single classification tasks. Our goal is to understand whether a related phenomenon occurs when data does not undergo a clear distributional shift. We define a `forgetting event' to have occurred when an individual training example transitions from being classified correctly to incorrectly over the course of learning. Across several benchmark data sets, we find that: (i) certain examples are forgotten with high frequency, and some not at all; (ii) a data set's (un)forgettable examples generalize across neural architectures; and (iii) based on forgetting dynamics, a significant fraction of examples can be omitted from the training data set while still maintaining state-of-the-art generalization performance.

研究の動機と目的

• 単一タスク学習プロセス内で崩壊的忘却と類似した forgetting phenomena が発生するかを調査する。
• データセットとアーキテクチャ全体で forgetting events の分布と特性を特徴づける。
• forgetting または unforgettable な例を削除することが一般化とデータ効率に影響を与えるかを評価する。

提案手法

• 忘却イベントを、SGD training 中に例が正解から不正解へ転換する瞬間として定義する。
• ミニバッチ更新を用いて、訓練が進むにつれて per-example の忘却統計を計算する。
• CNN、ResNet、WideResNet アーキテクチャを用いて MNIST、permuted MNIST、CIFAR-10 で評価する。
• 忘却イベントと誤分類マージンの相関を分析する。
• forgetting events に基づくデータの部分集合を削除してデータ効率を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは単一タスク内の個別学習例に対して forgetting events を示すか。
• RQ2 いくつかの例は seeds やアーキテクチャを跨いでも unforgettable であり、忘却パターンはモデル間で一般化されるか。
• RQ3 forgetting ダイナミクスは informative と noisy や outlier 的な例を識別でき、そうした例を削除すると一般化にどう影響するか。

主な発見

• 多くの例は unforgettable で、seed を跨いでも安定し、アーキテクチャを跨いでも相関する。
• 最も忘れやすい例はしばしばノイズのあるラベルや珍しい特徴をもち、視覚的に曖昧である。
• 忘れにくい例の大部分を削除しても一般化には悪影響を及ぼさない；一方、最も忘れやすい例を戦略的に削除するとデータの選択性によっては一般化が劣化する。
• CIFAR-10 では forgetting に基づきデータの最大で 30-35% を削除しても性能低下が顕著でない。
• 忘却的な例は意思決定境界の近くに位置づけられ、SVM のサポートベクターに類似するデータ点の振る舞いをする。
• 忘却統計はエポックやアーキテクチャを跨いで安定しており、モデル間で forgetting orderings の転送を可能にする。