[論文レビュー] Robust Training with Ensemble Consensus

Jisoo Lee, Sae-Young Chung|arXiv (Cornell University)|Oct 22, 2019

Machine Learning and Data Classification参考文献 34被引用数 9

ひとこと要約

本稿では、摂動を加えたニューラルネットワーク同士のコンセンサスを活用してノイジーサンプルを特定・削除する、ロバストな訓練手法であるEnsemble Consensusを用いた学習（LEC）を提案する。複数の摂動を加えたモデルにおいて一貫して小さな損失を持つサンプルのみを訓練データに含めるフィルタリングにより、MNIST、CIFAR-10、CIFAR-100といったノイズのあるデータセットにおいて一般化性能が著しく向上し、ノイズ比推定誤差に対する耐性も向上させ、最先端手法を上回る。

ABSTRACT

Since deep neural networks are over-parameterized, they can memorize noisy examples. We address such a memorization issue in the presence of label noise. From the fact that deep neural networks cannot generalize to neighborhoods of memorized features, we hypothesize that noisy examples do not consistently incur small losses on the network under a certain perturbation. Based on this, we propose a novel training method called Learning with Ensemble Consensus (LEC) that prevents overfitting to noisy examples by removing them based on the consensus of an ensemble of perturbed networks. One of the proposed LECs, LTEC outperforms the current state-of-the-art methods on noisy MNIST, CIFAR-10, and CIFAR-100 in an efficient manner.

研究の動機と目的

• ラベルノイズに過剰適合する深層ニューラルネットワークの課題に対処し、記憶された（ノイジーな）例を特定・削除すること。
• パrameterの摂動下でのアンサンブルベースの損失一貫性を用いて、クリーンな例とノイジーな例を区別することで、訓練のロバスト性を向上させること。
• 現実のノイズデータセットで一般的な問題である、真のノイズ比の不正確な推定に対して耐性を持つ手法を開発すること。
• SGDで最適化される任意のアーキテクチャに適用可能な汎用的な訓練フレームワークを、基本的なSGD最適化挙動に基づいて構築すること。

提案手法

• 初期モデルを全データセットで訓練し、損失が小さい例（100−ε%）をクリーンデータの候補として特定する。
• ベースモデルに異なるパrameterの摂動（例：重みノイズ、重みドロップ、重みシャッフル）を適用することで、摂動を加えたモデルのアンサンブルを生成する。
• すべてのアンサンブルメンバーにおいて損失が小さい例が一貫して含まれる必要があるため、損失が小さい集合の共通部分集合としてノイジーサンプルをフィルタリングする。
• 最終的な訓練は、すべてのM個の摂動付きネットワークの損失が小さい集合に含まれるサンプルのみで実行され、低損失であることに合意が得られる。
• 異なる摂動タイプを用いた3つのLECのバリエーション（LTEC）を提案し、対称的、非対称的、オープンセットノイズ設定の下で評価する。
• 記憶された（ノイジーな）特徴は摂動によって変動するが、一般化された（クリーンな）特徴は損失において安定しているという観察に基づく。

実験結果

リサーチクエスチョン

• RQ1 摂動を加えたモデル間のコンセンサスが、小さな損失集合に誤って含まれるノイジーサンプルを効果的に特定・フィルタリングできるか？
• RQ2 さまざまなレベルのラベルノイズ下で、提案手法のLECは最先端のロバスト訓練手法と比較してどのように性能を発揮するか？
• RQ3 現実のデータセットにおける真のノイズ比の不正確な推定に対して、LECはどの程度耐性を示すか？
• RQ4 この手法は、異なるニューラルネットワークアーキテクチャや最適化設定に一般化可能か？

主な発見

• LTECは、対称的および非対称的ラベルノイズ下でMNIST、CIFAR-10、CIFAR-100で最先端の性能を達成し、標準訓練に比べてテスト精度が最大8.5%向上する。
• 20%の対称的ノイズを伴うCIFAR-10では、LTECはピーク88.79%のテスト精度を達成し、Co-teaching（86.45%）と標準訓練（85.30%）を上回る。
• LTECはノイズ比推定誤差に対して強く、過剰推定であっても性能が著しく低下せず、逆にCo-teachingは過少推定下で著しく性能が低下する。
• アーキテクチャを問わず高い性能を維持し、ResNet-20では20%の非対称的ノイズ下でLTECを用いることで89.04%のテスト精度を達成（標準訓練では87.32%）。
• アンサンブルサイズMを増加させても性能が必ずしも向上しない。これは、あまりに多くのサンプルが削除されてしまうためであり、フィルタリングの厳密さと訓練データサイズのバランスの重要性を示している。
• アンサンブルコンセンサス機構は、高いノイズレベル（例：60%の対称的ノイズ）下でも、誤って小さな損失集合に含まれるノイジーサンプルを効果的にフィルタリングできる。CIFAR-10では60%のノイズ下で81.46%の精度を達成した。