[論文レビュー] Wasserstein Adversarial Regularization (WAR) on label noise

Kilian Fatras, Bharath Bhushan Damodaran+4 more|arXiv (Cornell University)|Apr 8, 2019

Machine Learning and Data Classification参考文献 2被引用数 7

ひとこと要約

本稿では、ラベルノイズに対する耐性を向上させるために、クラス類似度に基づく基底コストを用いたウォッシャーライン距離を活用する、Wasserstein adversarial regularization (WAR) という新しい敵対的正則化手法を提案する。クラス関係を正則化の幾何構造に組み込むことで、類似したクラス間の意思決定境界を効果的に平滑化しつつ、類似しないクラスの複雑さを保持する。CIFAR-10、CIFAR-100、およびラベルノイズ下でのセマンティックセグメンテーションを含む複数のベンチマークで、最先端の手法を上回る性能を発揮する。

ABSTRACT

Noisy labels often occur in vision datasets, especially when they are obtained from crowdsourcing or Web scraping. We propose a new regularization method, which enables learning robust classifiers in presence of noisy data. To achieve this goal, we propose a new adversarial regularization scheme based on the Wasserstein distance. Using this distance allows taking into account specific relations between classes by leveraging the geometric properties of the labels space. Our Wasserstein Adversarial Regularization (WAR) encodes a selective regularization, which promotes smoothness of the classifier between some classes, while preserving sufficient complexity of the decision boundary between others. We first discuss how and why adversarial regularization can be used in the context of label noise and then show the effectiveness of our method on five datasets corrupted with noisy labels: in both benchmarks and real datasets, WAR outperforms the state-of-the-art competitors.

研究の動機と目的

• ラベルノイズが重度に影響を与えるデータセット上で深層ニューラルネットワークを訓練する課題に対処すること。
• クラス固有の類似度に適応可能な正則化フレームワークを構築し、類似したクラス間の意思決定境界を効果的に平滑化すること。
• クリーンな検証セットや明示的なデータクリーニングを必要とせずに、モデルの耐性を向上させること。
• 閉集合および開集合のラベルノイズ状況の両方で、既存の最先端手法を上回ること。

提案手法

• WARは、クリーンサンプルと敵対的サンプルの予測間の乖離を測る指標としてウォッシャーライン距離を用いることで、敵対的正則化を拡張する。
• ウォッシャーライン距離の基底コストはクラス類似度に基づいて設計されており、正則化が幾何構造に依存し、クラスに依存するようになる。
• 事前知識や学習された類似度（例：word2vec埋め込み）をコスト行列に組み込み、予想されるラベルの混同パターンを反映させる。
• 敵対的サンプルはウォッシャーライン損失を最大化するように生成され、モデルはこの損失を最小化するように更新される。これにより耐性が向上する。
• 標準的なディープラーニングのトレーニングパイプラインと互換性があり、他の正則化や損失関数と組み合わせて使用可能である。
• 分布外のサンプルを除外する必要がないため、開集合のラベルノイズ設定に適している。

実験結果

リサーチクエスチョン

• RQ1 最適輸送を用いることで、ラベルノイズとクラス関係をよりよくモデル化する敵対的正則化はどのように強化できるか？
• RQ2 クラス類似度に配慮した正則化スキームは、高いラベルノイズ率下でも一般化性能を向上させられるか？
• RQ3 WARは閉集合および開集合のラベルノイズ状況の両方で、最先端の手法と比較してどうなるか？
• RQ4 事前知識（例：ワードエムベッディングや混同行列）を用いたクラスの混同に関する理解は、モデルの耐性をどの程度向上させられるか？
• RQ5 WARはクリーンな検証セットやデータクリーニング手順を必要とせずに、高い性能を維持できるか？

主な発見

• 40%のラベルノイズを伴うCIFAR-10データセットにおいて、WARはCo-Teaching や Bootstrapped Cross-Entropy を含むすべての競合手法を上回り、SVHN および ImageNet32 の開集合ノイズ状況でも最高の精度を達成した。
• Potsdamデータセットにおけるセマンティックセグメンテーションにおいて、word2vecに基づくクラス類似度を用いたWARは、全体の正解率がBootsoftよりわずかに低下したものの、平均F1スコアですべてのベースラインを上回った。
• Fashion-MNISTおよびCIFAR-100（最大40%のラベルノイズ）において、WARは全ノイズレベルおよび評価指標で、常に最先端の手法を上回った。
• サンプルの除外を必要としなかったため、開集合状況でも優れた性能を発揮し、分布外のノイズを含むサンプルに対して優れた耐性を示した。
• 可視化分析の結果、WARは細分化された区別（例：オオカミとイヌ、ハスキーブランド）をよりよく保持しており、標準的な敵対的正則化で見られる過剰平滑化を回避していた。
• アブレーションスタディの結果、基底コストの選択が性能に顕著な影響を与え、word2vecから得た類似度が最も優れた結果をもたらした。