[論文レビュー] SELF: Learning to Filter Noisy Labels with Self-Ensembling

Duc Tam Nguyen, Chaithanya Kumar Mummadi+4 more|arXiv (Cornell University)|Oct 4, 2019

Machine Learning and Data Classification参考文献 25被引用数 56

ひとこと要約

SELF は自己アンサンブル予測と Mean Teacher 学習を用いて潜在的にノイズの多いラベルを徐々にフィルタリングし、ノイズの多い監視を半教師あり設定へと変換して、データセット全体でのラベルノイズ耐性を向上させる。

ABSTRACT

Deep neural networks (DNNs) have been shown to over-fit a dataset when being trained with noisy labels for a long enough time. To overcome this problem, we present a simple and effective method self-ensemble label filtering (SELF) to progressively filter out the wrong labels during training. Our method improves the task performance by gradually allowing supervision only from the potentially non-noisy (clean) labels and stops learning on the filtered noisy labels. For the filtering, we form running averages of predictions over the entire training dataset using the network output at different training epochs. We show that these ensemble estimates yield more accurate identification of inconsistent predictions throughout training than the single estimates of the network at the most recent training epoch. While filtered samples are removed entirely from the supervised training loss, we dynamically leverage them via semi-supervised learning in the unsupervised loss. We demonstrate the positive effect of such an approach on various image classification tasks under both symmetric and asymmetric label noise and at different noise ratios. It substantially outperforms all previous works on noise-aware learning across different datasets and can be applied to a broad set of network architectures.

研究の動機と目的

• 訓練データにクラウドソーシングやウェブ注釈によるノイズのあるラベルが含まれる場合の頑健な学習を動機づける。
• 訓練中に誤っている可能性の高いラベルを識別し削除するための、シンプルで効果的な機構を提案する。
• 残されたクリーンなラベルを監督付き学習に活用しつつ、全データセットを無監督損失として使用する。
• 複数のアーキテクチャとデータセット（CIFAR-10、CIFAR-100、ImageNet）における頑健性を示す。
• 対称・非対称のラベルノイズ下で従来のノイズ耐性手法より優れていることを示す。

提案手法

• ランニング・Mean-Teacher アンサンブルを維持して安定した監視信号を提供する。
• 訓練エポック全体にわたるサンプル予測の移動平均を構築し、各サンプルの自己アンサンブル予測を形成する。
• 現在のラベルがアンサンブル予測の時間経過における最大値と一致するサンプルのみを保持してラベルをフィルタリングする。残されたノイズの多いサンプルは監督付き損失から除外されるが、無監督損失には用いられる。
• フィルタリングされたラベルセットで反復的に訓練し、さらなる改善が見られなくなるまでラベルセットの再評価と精製を行う。
• 全データセットを無監督損失として活用しつつ、フィルタリングされたよりクリーンなサブセットの監督付き学習を行う、半教師ありタスクとして問題を扱う。
• 任意で二番目のアンサンブル（Mean Teacher）を使用して訓練を安定化させ、モデルアンサンブルと予測アンサンブルを組み合わせて頑健性を高める。

実験結果

リサーチクエスチョン

• RQ1 訓練エポック全体にわたる自己アンサンブル予測は、重いラベルノイズ下で正しくラベル付けされたサンプルを信頼性高く識別できるか。
• RQ2 訓練中にノイズの多いラベルを段階的にフィルタリングすることは、標準的な画像分類ベンチマークでの一般化を改善するか。
• RQ3 SELF は対称・非対称のラベルノイズおよび異なるネットワークアーキテクチャ間でどう機能するか。
• RQ4 フィルタリングされたクリーンなサブセットと無監督損失を組み合わせる手法は、既存のノイズ耐性手法と競合するか、あるいは上回るか。
• RQ5 このアプローチは研究対象の特定のネットワークとデータセットを超えて適用可能か。

主な発見

• SELF は CIFAR-10、CIFAR-100、ImageNet の実験で、対称・非対称のラベルノイズに対する頑健性を一貫して向上させる。
• Mean Teacher モデルと予測の移動平均を用いたラベルフィルタリングは、単一エポック予測よりクリーンサンプルの同定をより信頼性の高いものとする。
• 段階的フィルタリングと半教師あり学習を組み合わせることで、複数のアーキテクチャとノイズレベルで従来のノイズ対応手法を上回る精度を達成。
• 異なるネットワークバックボーンでも効果を維持し、アーキテクチャの頑健性が示される。
• 完全な SELF 実装（モデルアンサンブルと予測アンサンブルの両方）で最も大きな改善が得られ、ノイズ比が高い場合にも頑健である（研究で報告） 。
• アブレーション研究では、予測アンサンブルの削除や段階的フィルタリングの除外は性能を低下させ、各構成要素の寄与を強調している。