[論文レビュー] Robust Learning Under Label Noise With Iterative Noise-Filtering

Duc Tam Nguyen, Thi-Phuong-Nhung Ngo+4 more|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Data Classification参考文献 25被引用数 16

ひとこと要約

本論文では、反復的にノイズの多いラベルをフィルタリングしながら、すべてのサンプルを半教師付き学習に活用する、耐障害性の高い学習フレームワーク、IF-SSLを提案する。反復的ラベルフィルタリングと、マイルール・テイチャーベースの非教師付き損失を組み合わせることで、CIFAR-10およびCIFAR-100において極端なラベルノイズ（80％のノイズ比）下でも、先行手法に比べて最大20％の精度向上を達成し、最先端の性能を実現した。

ABSTRACT

We consider the problem of training a model under the presence of label noise. Current approaches identify samples with potentially incorrect labels and reduce their influence on the learning process by either assigning lower weights to them or completely removing them from the training set. In the first case the model however still learns from noisy labels; in the latter approach, good training data can be lost. In this paper, we propose an iterative semi-supervised mechanism for robust learning which excludes noisy labels but is still able to learn from the corresponding samples. To this end, we add an unsupervised loss term that also serves as a regularizer against the remaining label noise. We evaluate our approach on common classification tasks with different noise ratios. Our robust models outperform the state-of-the-art methods by a large margin. Especially for very large noise ratios, we achieve up to 20 % absolute improvement compared to the previous best model.

研究の動機と目的

• 高ラベルノイズ下で深層学習モデルを訓練する課題に対処し、ノイズの多いラベルがモデルの一般化性能と精度を低下させることを防ぐ。
• ノイズラベルを保持する（過学習のリスクあり）か、サンプル全体を破棄する（有用なデータを失う）という、先行手法の限界を克服する。
• すべての入力サンプルを保存しつつ、ノイズラベルのみを除外する訓練パイプラインを開発し、耐障害性を向上させる。
• 追加のモデル部品や複雑な再トレーニングメカニズムを必要とせず、効果的なラベルノイズフィルタリングを実現する。
• さまざまなアーキテクチャとノイズ比において一貫した性能向上を示し、特に極端なノイズ条件下で顕著な改善を達成する。

提案手法

• 反復的フィルタリングの適用：各エポックにおいて、モデル予測の移動平均を用いて、信頼度が低いまたは一貫性のないラベルを特定し、削除する。
• すべての入力サンプルを訓練セットに維持し、ラベルフィルタリング後も、半教師付き学習の対象として未ラベルデータとして扱う。
• マイルール・テイチャーモデルを強力な正則化子として使用：教師ネットワークの予測は時間的に平均化され、生徒ネットワークの監督に用いられる。
• フィルタリング済みラベルに対する監督損失と、すべてのサンプル（潜在的にノイズのあるラベルを含む）に対する非監督損失を組み合わせ、エントロピー最小化と一貫性正則化を用いる。
• バリデーションセットでの性能向上が見られなくなった時点で反復プロセスを停止し、収束を保証する。
• 時間的アンサンブルによるモデル予測を活用し、フィルタリングの信頼性を向上させ、誤ってラベルを削除する確率を低減する。

実験結果

リサーチクエスチョン

• RQ1 入力サンプルを破棄せずにノイズラベルを反復的にフィルタリングすることで、重み付けやサンプル破棄を行う従来手法よりも優れた耐障害性が達成できるか？
• RQ2 反復的ラベルフィルタリングと半教師付き学習を組み合わせることで、高ノイズ比下での性能がどのように向上するか？
• RQ3 マイルール・テイチャーモデルを正則化子として用いることで、他の非教師付き損失戦略（例：エントロピー損失、プッシュアウェイ損失）よりも効果的に耐障害性が向上するか？
• RQ4 ラベルノイズ比が50％を超えた場合、本手法が性能低下をどの程度軽減できるか？
• RQ5 本フレームワークは、アーキテクチャの変更なしに、さまざまなニューラルネットワークアーキテクチャに一般化可能か？

主な発見

• 提案されたIF-SSLフレームワークは、80％のラベルノイズ下でCIFAR-10で93.7％のテスト精度を達成し、前回の最先端手法に比べて19％の絶対的向上を示した。
• CIFAR-100において80％のノイズ比下で、IF-SSLは42.09％の精度に到達し、最良の先行手法に比べて20％の絶対的向上を達成した。
• 反復的フィルタリングは、さまざまなアーキテクチャ間の性能差を顕著に縮小する：ResNet18とResNet26はフィルタリング後、ほぼ同一の性能を示し、一般化性能の向上が確認された。
• 反復的フィルタリングと組み合わせたマイルール・テイチャーロスは、他の非教師付き損失（例：エントロピー損失、プッシュアウェイ損失）を上回り、特に高ノイズ環境下で顕著な優位性を示した。
• 潜在的にノイズのあるラベルを含むすべてのサンプルを非教師付き学習に活用することで、それらを破棄する場合よりも顕著に高い性能が得られ、アブレーションスタディで裏付けられた。
• 本手法は多様なアーキテクチャに対して耐障害性を示し、ResNet101は過学習のためフィルタリングの恩恵をあまり受けていないが、IF-SSLと組み合わせることで依然として測定可能な向上を示した。