[論文レビュー] Joint Optimization Framework for Learning with Noisy Labels

Daiki Tanaka, Daiki Ikami+2 more|arXiv (Cornell University)|Mar 30, 2018

Machine Learning and Data Classification参考文献 4被引用数 105

ひとこと要約

本論文は、ノイズのあるラベル付きデータから学習するために、CNNパラメータと真のラベルの共同最適化を提案し、交互更新とソフトラベルを用いて、ノイズ付きのCIFAR-10およびClothing1Mで最先端法を上回る性能を示す。

ABSTRACT

Deep neural networks (DNNs) trained on large-scale datasets have exhibited significant performance in image classification. Many large-scale datasets are collected from websites, however they tend to contain inaccurate labels that are termed as noisy labels. Training on such noisy labeled datasets causes performance degradation because DNNs easily overfit to noisy labels. To overcome this problem, we propose a joint optimization framework of learning DNN parameters and estimating true labels. Our framework can correct labels during training by alternating update of network parameters and labels. We conduct experiments on the noisy CIFAR-10 datasets and the Clothing1M dataset. The results indicate that our approach significantly outperforms other state-of-the-art methods.

研究の動機と目的

• ウェブソースから取得されたノイズ付きラベルを含む大規模データセットでDNNを訓練する動機。
• パラメータとラベルを同時に最適化してノイズラベルの記憶化を回避する枠組みを開発する。
• 高い学習率がノイズの記憶化を防ぎ、頑健性を向上させることを示す。
• 提案した枠組みを合成データ（SN-CIFAR, AN-CIFAR, PL-CIFAR）および実データ（Clothing1M）のノイズ付きデータセットで評価する。

提案手法

• ネットワークパラメータ θ とラベル行列 Y を最適化し、L(θ, Y | X) を最小化する三項から成るジョイント目的関数を定義する。Lc（ラベルと予測のKL発散）、Lp（クラス事前分布 p を課す正則化）、Le（エントロピーに基づく正則化）を含む。
• 交互最適化を用いる：Y を固定した状態で L(θ, Y|X) に対して SGD で θ を更新し、次に 各サンプルごとに hard または soft ラベルを用いて Y を更新する。soft ラベルの方がよく機能する。
• soft-label 更新 y_i = s(θ, x_i) を採用し、実験では CIFAR-10 に対して一様な事前分布 p を用いて退屈な解を避ける。
• 高い学習率を活用してノイズラベルの記憶化を抑制し、実験で lr による記憶化ダイナミクスの違いを観察する。
• ソフトラベル分布を単一クラスに集中させるのに十分鋭く保つためにエントロピー項 Le を組み込む。
• 2段階の訓練プロセスを実施する：まずラベルを更新し、次に得られたラベルでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークパラメータとラベルを同時に最適化することで、DNNにおけるノイズラベルの記憶化を緩和できるか。
• RQ2 ソフトラベル更新がハードラベル更新よりも、クリーンなラベルの復元とテスト精度の向上に優れるか。
• RQ3 学習率の選択がノイズありの監督学習下でのノイズラベルの記憶化と総合性能にどう影響するか。
• RQ4 提案手法は合成ノイズ付き CIFAR-10 のバリアントと実データ Clothing1M に対してどう機能するか。
• RQ5 Lp および Le の正則化項が劣化したラベル割り当てを防ぎ、頑健な学習を促進する影響は何か。

主な発見

• 提案された共同最適化フレームワークは SN-CIFAR で最先端の結果を、Clothing1M では従来法と比して競争力のある性能を示した。
• ソフトラベル更新はハードラベル更新を上回り、予測信頼度を活用して収束を早め、テスト精度を向上させる。
• 高い学習率はノイズラベルの記憶化を防ぎ、訓練中のノイズへの適合を遅らせる、あるいは避けるのに役立つ。
• ラベル最適化に続く標準的な監視付き訓練という2段階の訓練プロセスは、ラベルノイズに対する頑健性を向上させる。
• クラス事前分布 KL 項とエントロピー項を用いた正則化はラベル更新を安定化させ、単一クラスへの崩壊を防ぐ。