[論文レビュー] How does Early Stopping Help Generalization against Label Noise?

Hwanjun Song, Minseok Kim+2 more|arXiv (Cornell University)|Nov 19, 2019

Machine Learning and Data Classification参考文献 26被引用数 19

ひとこと要約

この論文では、ノイズのあるラベルに過学習するのを防ぐために、早期停止を用いた2段階訓練手法Prestoppingを提案する。その後、信頼性の高いサンプルからなる「最大の安全集合」上で再訓練を行う。この手法は一般化性能を著しく向上させ、さまざまなラベルノイズタイプ下で4つのベンチマークデータセットにおいてテスト誤差を0.4–8.2百分率ポイント低下させ、最先端手法を上回る性能を示す。

ABSTRACT

Noisy labels are very common in real-world training data, which lead to poor generalization on test data because of overfitting to the noisy labels. In this paper, we claim that such overfitting can be avoided by "early stopping" training a deep neural network before the noisy labels are severely memorized. Then, we resume training the early stopped network using a "maximal safe set," which maintains a collection of almost certainly true-labeled samples at each epoch since the early stop point. Putting them all together, our novel two-phase training method, called Prestopping, realizes noise-free training under any type of label noise for practical use. Extensive experiments using four image benchmark data sets verify that our method significantly outperforms four state-of-the-art methods in test error by 0.4-8.2 percent points under existence of real-world noise.

研究の動機と目的

• ノイズのあるラベルでトレーニングされたディープニューラルネットワークにおける一般化性能の低さという課題に対処すること。
• 損失に基づくサンプル選択手法の限界を克服すること。これは、実世界のノイズやペアノイズ下で損失分布が重複するため、これらの手法が機能しないためである。
• 多様なノイズタイプにわたり効果的に機能する、ノイズに依存しない堅牢なトレーニング手法を開発すること。
• トレーニング中に誤ったラベルが記憶され始める「誤りに陥りやすい期間」を特定・排除することで、モデルの一般化性能を向上させること。

提案手法

• ネットワークが誤ったラベルを記憶し始める前に、後段の誤り記憶の増加を観察した結果に基づき、早期停止を実施する。
• 早期停止時点での損失が低いサンプルからなる「最大の安全集合」を構築し、これらはおそらく正しくラベル付けされていると仮定する。
• 早期停止後、最大の安全集合に限定してネットワークを再訓練することで、ノイズのない最適化を達成する。
• 安全なサンプルの選択を安定化させるために、履歴長さのハイパーパrameter q を用いる。
• 対象となるデータセットはCIFAR-10、CIFAR-100、ANIMAL-10N、FOOD-101Nであり、対称的ノイズ、ペアノイズ、実世界ノイズを含むさまざまなノイズタイプを用いて評価した。
• 学習率の減衰やバッチ正則化などのハイパーパラメータは、実験全体で一貫して設定され、公平な比較を確保した。

実験結果

リサーチクエスチョン

• RQ1 早期停止を用いることで、誤ったラベルの記憶が始まる前にトレーニングを停止させることで、ノイズラベルへの過学習を防げるか？
• RQ2 早期停止後に低損失サンプルからなる最大の安全集合上で再訓練を実施することで、標準的なトレーニングに比べて一般化性能が向上するか？
• RQ3 実世界ノイズを含む多様なラベルノイズタイプ下で、Prestoppingは最先端手法を上回る性能を示すか？
• RQ4 損失に基づくサンプル選択手法がペアノイズや実世界ノイズ下で失敗する理由は何か？また、早期停止はこの問題を緩和できるか？
• RQ5 この手法は、ベンチマークデータセットの元のラベル誤りを是正できるか？0%のノイズ下でも性能向上が見られるか？

主な発見

• Prestoppingは、さまざまなノイズタイプ下で4つのベンチマークデータセットにおいて、最先端手法と比較してテスト誤差を0.4–8.2百分率ポイント低下させた。
• Co-teaching+や他の損失ベース手法に比べて優れた性能を示し、特にペアノイズや実世界ノイズ下で顕著に優位であった。これは、これらの手法が損失分布の重複により機能しないためである。
• グリッドサーチにより、安全集合構築に最適な履歴長さ q = 10 が特定され、全データセットおよびノイズタイプでテスト誤差を最小化した。
• Prestopping+はCIFAR-100の元のラベル誤りを是正し、例として「Boy」を「Baby」や「Mouse」を「Hamster」に修正した。これは0%ノイズ下でも同様に有効であった。
• この手法は、「誤りに陥りやすい期間」を効果的に排除し、収束性と一般化性能の両方を向上させた。
• 特に実世界ノイズ下で顕著な性能向上が得られ、FOOD-101Nでは8.2百分率ポイントの誤差低下が達成された。これは、既存手法が最も困難に直面する状況である。