[論文レビュー] Understanding and Improving Early Stopping for Learning with Noisy Labels

Yingbin Bai, Erkun Yang+6 more|arXiv (Cornell University)|Jun 30, 2021

Machine Learning and Data Classification参考文献 34被引用数 53

ひとこと要約

Progressive Early Stopping (PES) を提案し、DNN を部分的に訓練して、初期の層により多くのエポックを、後期の層には少なく訓練を与えることで、記憶化をより活用し、ノイズ付きラベル学習を改善する。

ABSTRACT

The memorization effect of deep neural network (DNN) plays a pivotal role in many state-of-the-art label-noise learning methods. To exploit this property, the early stopping trick, which stops the optimization at the early stage of training, is usually adopted. Current methods generally decide the early stopping point by considering a DNN as a whole. However, a DNN can be considered as a composition of a series of layers, and we find that the latter layers in a DNN are much more sensitive to label noise, while their former counterparts are quite robust. Therefore, selecting a stopping point for the whole network may make different DNN layers antagonistically affected each other, thus degrading the final performance. In this paper, we propose to separate a DNN into different parts and progressively train them to address this problem. Instead of the early stopping, which trains a whole DNN all at once, we initially train former DNN layers by optimizing the DNN with a relatively large number of epochs. During training, we progressively train the latter DNN layers by using a smaller number of epochs with the preceding layers fixed to counteract the impact of noisy labels. We term the proposed method as progressive early stopping (PES). Despite its simplicity, compared with the early stopping, PES can help to obtain more promising and stable results. Furthermore, by combining PES with existing approaches on noisy label training, we achieve state-of-the-art performance on image classification benchmarks.

研究の動機と目的

• 訓練中にラベルノイズが DNN の異なる層にどのように影響するかを動機づけ、分析する。
• 層依存の early-stopping エポックでネットワークの部分を順次訓練する PES を提案する。
• PES が memorization をより活用し、ノイズ付きラベルへの感度を低減することを示す。
• PES を既存のノイズ付きラベル手法と組み合わせると、ベンチマークで最先端の結果を達成する。

提案手法

• DNN を L 部分に分割し、最初の部分を T1 エポック訓練しつつ、全ネットワークを最適化する。
• 前の部分を順次固定し、l 番目の部分を Tl エポック訓練する。前の部分を固定し、Tl が l に従って減少するようにする。
• 後半の層はノイズに対してより敏感であり、各段階の訓練時間を短くすると利点があると正当化する。
• 拡張合意予測によって PES 訓練モデルから自信のある例を定義し、クラス重み付き損失を用いる。
• PES を半教師あり学習（MixMatch）と組み合わせて、ラベルなし/ノイズ付きデータを効果的に活用する。
• PES のアルゴリズム的手順（Algorithm 1）と、任意の半教師付き改良を提供する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズは訓練中に内部 DNN 層にどのように異なる影響を与え、ノイズ付きラベルの学習を改善するためにこれを利用できるか？
• RQ2 ネットワークの一部を順次停止/訓練する方法は、さまざまなノイズタイプ・レベル下で従来の全ネットワーク早期停止を上回るか？
• RQ3 PES を自信例選択と半教師付き学習と効果的に組み合わせて、最先端の結果を達成できるか？
• RQ4 合成データ（CIFAR-10/100）および実データ（Clothing-1M）のノイズ付きラベルベンチマークにおける PES の経験的利得はどれほどか？

主な発見

• PES は、対称ノイズ、ペアフリップ、インスタンス依存ノイズのいずれにおいても CIFAR-10/100 で従来の早期停止より一貫して高いテスト精度と低い分散を示す。
• PES は自信ありの例のラベルの適合率と再現率を改善し、選択されたラベルの品質を高める。
• PES を半教師付き学習と組み合わせるとベースラインを上回り、CIFAR-10/100 の合成ノイズで最先端の結果を達成し、Clothing-1M では競争力のある結果を示す。
• 感度分析では、第2部と第3部の Tl がそれぞれ約 7 エポックおよび 5 エポックのとき最良の性能を示し、ノイズタイプを問わず頑健性が得られる。
• PES は標準的な早期停止と同等程度の訓練時間オーバーヘッドを提供しつつ、より優れた性能を発揮する。