[論文レビュー] Boosting Co-teaching with Compression Regularization for Label Noise

Yingyi Chen, Xi Shen+2 more|arXiv (Cornell University)|Apr 28, 2021

Machine Learning and Data Classification参考文献 29被引用数 7

ひとこと要約

本論文は、順序付き特徴学習のための圧縮正則化であるネストドロップアウトと、ラベルノイズに対する耐性を高めるためのコ-teachingを組み合わせた2段階手法を提案する。順序付き特徴を用いた信号対雑音分離と反復的なクリーンサンプル選択により、衣類1Mでは74.9%、ANIMAL-10Nでは84.1%の最先端性能を達成し、DivideMix や PLC といった先行手法を上回った。

ABSTRACT

In this paper, we study the problem of learning image classification models in the presence of label noise. We revisit a simple compression regularization named Nested Dropout. We find that Nested Dropout, though originally proposed to perform fast information retrieval and adaptive data compression, can properly regularize a neural network to combat label noise. Moreover, owing to its simplicity, it can be easily combined with Co-teaching to further boost the performance. Our final model remains simple yet effective: it achieves comparable or even better performance than the state-of-the-art approaches on two real-world datasets with label noise which are Clothing1M and ANIMAL-10N. On Clothing1M, our approach obtains 74.9% accuracy which is slightly better than that of DivideMix. On ANIMAL-10N, we achieve 84.1% accuracy while the best public result by PLC is 83.4%. We hope that our simple approach can be served as a strong baseline for learning with label noise. Our implementation is available at https://github.com/yingyichen-cyy/Nested-Co-teaching.

研究の動機と目的

• ウェブクロールドデータに一般的に見られるラベルノイズを伴う大規模データセット上で深層ニューラルネットワークを訓練するという課題に対処すること。
• 圧縮正則化、特にネストドロップアウトが、ラベルノイズ下での学習の強力なベースラインとして機能するかどうかを調査すること。
• ネストドロップアウトを用いて、ラベルノイズ環境下でのサンプル選択の信頼性を向上させることで、コ-teachingの性能を強化すること。
• 今後のラベルノイズ下での学習に関する研究のための、単純で効果的かつ容易に導入可能なベースラインを提供すること。

提案手法

• ネストドロップアウトを適用して、各層で最初の k 個の特徴チャネルのみを保持する順序付き特徴表現を学習する。k はガウス型分布からサンプリングされ、情報量の多い特徴を優先する。
• k に対してパラメータ化された分布 p_k ∝ exp(−k²/(2σ²_nest)) を用いることで、訓練中に情報量の少ない特徴を構造的に適応的にプルーニングできる。
• 第1段階では、ネストドロップアウトを適用した2つの別々のネットワークを訓練し、その後のコ-teachingのファインチューニング用に信頼性の高いベースモデルとする。
• 第2段階では、2つの事前に訓練されたモデルに対してコ-teachingを適用し、各ネットワークが相手の予測で低損失のサンプルのみを使って自身を更新する。
• 圧縮正則化とサンプル選択戦略を統合し、複雑なハイパーパrameterチューニングを必要とせずに、両者の長所を組み合わせた。
• 本手法は、衣類1MではResNet-50、ANIMAL-10NではVGG-19に適用し、標準的なトレーニングプロトコルに従い、コ-teaching段階での学習率をファインチューニングした。

実験結果

リサーチクエスチョン

• RQ1 元々データ圧縮を目的として設計されたネストドロップアウトが、ラベルノイズの影響を軽減するための深層ネットワークの正則化に効果的であるか？
• RQ2 ネストドロップアウトによって学習された順序付き特徴表現が、ノイズの多いデータにおける信号対雑音分離をより良く可能にするか？
• RQ3 ネストドロップアウトとコ-teachingの組み合わせが、現実のノイズを含むデータセットで既存の最先端手法を上回るか？
• RQ4 σ_nest などのハイパーパrameterの選択に対して、本手法の性能はどれほど頑健か？

主な発見

• 衣類1Mでは、74.9%のトップ1精度を達成し、最先端のDivideMix手法を上回った。
• ANIMAL-10Nでは84.1%の精度に達し、PLCによる公に提供された最高の83.4%を0.7ポイント上回った。
• ネストドロップアウト単体でも、標準的なクロスエントロピー学習や標準ドロップアウトを上回る性能を示し、元の特徴チャネルの1%未満を用いても有効であった。
• アブレーションスタディにより、σ_nest の値に関わらずネストドロップアウトによる性能向上が安定しており、最適な k* 値が効率的な特徴利用を示した。
• コ-teachingのファインチューニングは、すべての設定で一貫して性能を向上させ、2段階トレーニング戦略の有効性を示した。
• 最終的なモデルは単純で効率的であり、複雑なアーキテクチャやハイパーパrameterチューニングを必要とせず、2つのよく知られた手法を原理的かつ効果的に組み合わせた。