[論文レビュー] Coresets for Robust Training of Deep Neural Networks against Noisy Labels.

Baharan Mirzasoleiman, Kaidi Cao+1 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and Data Classification被引用数 48

ひとこと要約

本論文は、低ランクヤコビ行列を近似するクリーンデータの重み付きサブセットを選択することで、ノイズのあるラベルに対して頑健な深層ニューラルネットワークの訓練のためのコアセットベースの手法を提案する。理論的分析により、これらのコアセット上で勾配降下法を適用することで、ノイズのあるラベルへの過学習を回避できることを示し、CIFAR-10では80%のノイズラベルを含む状況で最先端手法と比較して6%高い精度を達成し、mini Webvisionでは7%の向上を示した。

ABSTRACT

Modern neural networks have the capacity to overfit noisy labels frequently found in real-world datasets. Although great progress has been made, existing techniques are limited in providing theoretical guarantees for the performance of the neural networks trained with noisy labels. Here we propose a novel approach with strong theoretical guarantees for robust training of deep networks trained with noisy labels. The key idea behind our method is to select weighted subsets (coresets) of clean data points that provide an approximately low-rank Jacobian matrix. We then prove that gradient descent applied to the subsets do not overfit the noisy labels. Our extensive experiments corroborate our theory and demonstrate that deep networks trained on our subsets achieve a significantly superior performance compared to state-of-the art, e.g., 6% increase in accuracy on CIFAR-10 with 80% noisy labels, and 7% increase in accuracy on mini Webvision.

研究の動機と目的

• 実世界のデータセットにおける深層ニューラルネットワークのノイズラベルへの過学習という課題に対処すること。
• ラベルノイズ下での頑健な訓練に対して強固な理論的保証を提供すること。
• 選択されたサブセット上で勾配降下法がノイズラベルへの過学習をしないようにするデータ選択手法を開発すること。
• 高ラベルノイズレベルのベンチマークデータセットにおける一般化性能の向上。

提案手法

• 本手法は、低ランクヤコビ行列を近似的に誘導するクリーンデータポイントの重み付きコアセットを構築する。
• ヤコビ行列の構造を活用して、モデルの最適化ダイナミクスを保持する代表的なデータサブセットを同定する。
• 理論的分析により、これらのコアセット上で勾配降下法を適用することで、ノイズラベルへの過学習を回避できることを証明する。
• コアセット選択は、ヤコビ行列の低ランク構造の近似誤差を最小化することに基づく。
• エンドツーエンドで選択されたサブセット上で深層ネットワークを訓練することで、頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 理論的裏付けに基づくデータ選択手法は、深層ネットワークがノイズラベルへの過学習を回避できるか？
• RQ2 低ランクヤコビ行列構造を保持するコアセットを選択することで、ラベルノイズ下での一般化性能が向上するか？
• RQ3 このようなコアセット上で訓練されたモデルの性能は、ノイズのあるベンチマークで最先端手法と比較してどうなるか？
• RQ4 ラベルノイズ設定下での最適化ダイナミクスに対して理論的保証を導出できるか？

主な発見

• 提案されたコアセット手法は、80%のノイズラベルを含むCIFAR-10で、最先端手法と比較して6%の精度向上を達成した。
• mini Webvisionデータセットでは、高ラベルノイズ下で既存の手法と比較して7%の精度向上を示した。
• 理論的分析により、選択されたコアセット上で勾配降下法を適用しても、ノイズラベルへの過学習が発生しないことが確認された。
• ラベルノイズが80%を超過しても、本手法は強固な性能を維持しており、耐性の高さが示された。