[論文レビュー] Robust Inference via Generative Classifiers for Handling Noisy Labels

Kimin Lee, Sukmin Yun+4 more|arXiv (Cornell University)|Jan 31, 2019

Machine Learning and Data Classification被引用数 61

ひとこと要約

RoGは、最小共分散決定法(MCD)を用いてノイズ付きラベルを扱う頑健な生成分類器を、元のネットワークの再訓練なしに事前訓練済みの識別モデルの上に構築し、層を跨いでアンサンブル可能とする。

ABSTRACT

Large-scale datasets may contain significant proportions of noisy (incorrect) class labels, and it is well-known that modern deep neural networks (DNNs) poorly generalize from such noisy training datasets. To mitigate the issue, we propose a novel inference method, termed Robust Generative classifier (RoG), applicable to any discriminative (e.g., softmax) neural classifier pre-trained on noisy datasets. In particular, we induce a generative classifier on top of hidden feature spaces of the pre-trained DNNs, for obtaining a more robust decision boundary. By estimating the parameters of generative classifier using the minimum covariance determinant estimator, we significantly improve the classification accuracy with neither re-training of the deep model nor changing its architectures. With the assumption of Gaussian distribution for features, we prove that RoG generalizes better than baselines under noisy labels. Finally, we propose the ensemble version of RoG to improve its performance by investigating the layer-wise characteristics of DNNs. Our extensive experimental results demonstrate the superiority of RoG given different learning models optimized by several training techniques to handle diverse scenarios of noisy labels.

研究の動機と目的

• 訓練データにノイズ付きラベルがある場合の頑健な一般化を動機づける。
• 事前訓練済みの識別モデルを生成分類器で後処理するRoGを提案する。
• MCDベースの推定がノイズ下で頑健性と一般化を改善することを示す。
• RoGを複数の層にまたがってアンサンブルすることで性能をさらに高める。
• ノイズ付きラベルの訓練手法と様々な訓練技術との互換性を示す。

提案手法

• 事前訓練済みのペンultimate特徴量f(x)の上にクラス条件付きガウス分布（共分散を結合させたLDA）を仮定して生成分類器を誘導する。
• ナイーブな標本推定の代わりに頑健な最小共分散決定(MCD)を用いてクラス平均mu_cと共分散Sigmaを推定する。
• 事後確率P(y=c|f(x))をベイズ推定によりP(f(x)|y=c)=N(f(x)|mu_c,Sigma)およびP(y=c)prior beta_cを用いて計算する。
• 近似的なMCDソルバー(アルゴリズム1)を提供し、クラス別共分散をグローバルな結合共分散Sigmaに統合する。
• 検証NLLで学習された重みを用いて低レベル特徴と層を横断してRoGの事後確率を統合するアンサンブル変種を提案する。
• RoGの互換性を、既存のノイズ付きラベル訓練戦略を伴う推論手法として示す。

実験結果

リサーチクエスチョン

• RQ1 事前訓練済み識別モデルの上に推論時に頑健な生成分類器を適用して、再訓練なしでノイズ付きラベル下の性能を改善できるか。
• RQ2 MCDベースのパラメータ推定は、ノイズラベル下でナイーブな標本推定よりも一般化と頑健性を向上させるか。
• RQ3 層/特徴空間を跨いだRoGのアンサンブルは追加の性能向上をもたらすか。
• RQ4 RoGは既存のノイズ付きラベル訓練手法や半クリーンデータ設定とどう相互作用するか。
• RQ5 RoGは視覚タスクとNLPタスクの多様なノイズタイプ(一様、反転、セマンティック、オープンセット)で有効か。

主な発見

モデル	推論方法	アンサンブル	クリーン	一様(20%)	一様(40%)	一様(60%)
DenseNet	生成的 + MCD（私たちの）	✓	94.18	87.41	81.83	75.45
DenseNet	生成的 + サンプル	-	93.97	87.40	81.27	69.81
Softmax	ソフトマックス	-	94.11	81.01	72.34	55.42

• MCD推定を伴うRoGは、CIFAR-10/100、SVHN、およびNLPタスクにおいて、訓練データに一様・反転・セマンティック・オープンセットノイズが含まれる場合でもソフトマックスよりテスト精度を向上させる。
• 一様ノイズがあるCIFAR-10では、MCDを用いたRoGは非MCD生成分類器やソフトマックスより高い精度を達成し、層を跨るアンサンブルでその効果が増幅される。
• 低レベルおよび高レベル特徴のアンサンブルはさらに改善をもたらし、特に低レベルRoGは高ノイズ割合に対して頑健性が高い。
• RoGは最先端のノイズ付きラベル訓練手法(例: Han et al. 2018b)やCo-teachingと組み合わせた場合に一貫して性能を向上させ、多くの設定で最良の結果を達成する。
• オープンセットおよびセマンティックなノイズラベルに対してもRoGはソフトマックスと同等かそれを上回る性能を示し、多くの設定で顕著な利得を得る。