[論文レビュー] Instance Correction for Learning with Open-set Noisy Labels

Xiaobo Xia, Tongliang Liu+5 more|arXiv (Cornell University)|Jun 1, 2021

Machine Learning and Data Classification参考文献 49被引用数 7

ひとこと要約

本稿では、開集合ノイズラベル学習における未学習クラス空間外のラベルを再利用する目的で、標的付き adversarial 攻撃を用いたインスタンス補正を提案する。非頑健な特徴を補正しながら頑健な特徴を保持することで、一般化性能が向上し、WebVision および合成データセットにおいて最先端の性能を達成した。S2E より 0.70%、MentorNet より 0.23% の向上を達成した。

ABSTRACT

The problem of open-set noisy labels denotes that part of training data have a different label space that does not contain the true class. Lots of approaches, e.g., loss correction and label correction, cannot handle such open-set noisy labels well, since they need training data and test data to share the same label space, which does not hold for learning with open-set noisy labels. The state-of-the-art methods thus employ the sample selection approach to handle open-set noisy labels, which tries to select clean data from noisy data for network parameters updates. The discarded data are seen to be mislabeled and do not participate in training. Such an approach is intuitive and reasonable at first glance. However, a natural question could be raised "can such data only be discarded during training?". In this paper, we show that the answer is no. Specifically, we discuss that the instances of discarded data could consist of some meaningful information for generalization. For this reason, we do not abandon such data, but use instance correction to modify the instances of the discarded data, which makes the predictions for the discarded data consistent with given labels. Instance correction are performed by targeted adversarial attacks. The corrected data are then exploited for training to help generalization. In addition to the analytical results, a series of empirical evidences are provided to justify our claims.

研究の動機と目的

• 既存手法が開集合ノイズラベルの処理において限界を示す問題に対処すること。具体的には、真のクラスラベルが未知であり、学習ラベル空間に含まれない状況である。
• 破棄された誤ラベルデータが一般化に有用な情報を持たないとする仮定に挑戦すること。
• 完全に破棄するのではなく、破棄されたデータのインスタンスを補正する新しい手法を提案すること。
• 清浄データと補正済みデータの両方を活用することで、モデルの頑健性と性能を向上させること。

提案手法

• まず、サンプル選択を適用して清浄な例と誤ラベルの例（例：『わんちゃん』とラベル付けされた『おおかみ』）を特定する。
• 誤ラベルの例に対して、標的付き adversarial 攻撃を用いて、与えられた（誤った）ラベルに一致するように非頑健な特徴を変更するが、頑健な特徴は保持する。
• 補正されたインスタンスを訓練に使用し、与えられたラベルに基づく監視信号を用いることで、従来破棄されていたデータからも学習可能にする。
• 本手法は、頑健な特徴と非頑健な特徴の違いを活用しており、非頑健な特徴は adversarial 変更に対してより感受性が高いため、操作が容易である。
• ハイパーパrameter λ は、清浄データと補正済みデータのトレーニングにおけるトレードオフを制御する。
• 本手法は Type I および Type II の開集合ノイズ設定の両方で評価され、データの有効性が異なる挙動を示した。

実験結果

リサーチクエスチョン

• RQ1 開集合ノイズラベル学習における破棄済みデータに、モデルの一般化に有用な情報がまだ残っているのか？
• RQ2 真のクラスラベルが不明な状況下で、誤ラベルのインスタンスを真のラベルに依存せずに補正することは可能か？
• RQ3 頑健な特徴と非頑健な特徴は、adversarial インスタンス補正の有効性にどのように影響を与えるか？
• RQ4 インスタンス補正は、従来のサンプル選択法や直接的なデータ再利用法よりも、開集合ノイズラベル学習において優れているか？
• RQ5 異なるノイズ生成メカニズム（Type I 対 Type II）において、破棄済みデータの有効性はどのように変化するか？

主な発見

• WebVision データセットにおいて、提案手法 S-InsCorr はトップ1検証精度 57.75% を達成し、S2E（57.05%）を 0.70% 上回った。
• M-InsCorr は 57.89% の精度を達成し、同じ設定下で MentorNet よりも 0.23% 高かった。
• Type I 開集合ノイズでは、λ の増加に伴いテスト精度が低下した。これは、元の破棄済みデータが一般化性能を損なう可能性を示し、再利用前に補正が必要であることを示している。
• Type II 開集合ノイズでは、テスト精度が λ の増加に伴い単調に低下しなかった。これは、適切に補正された場合、破棄済みデータが正の貢献を果たす可能性があることを示している。
• アブレーションスタディにより、インスタンス補正が誤ラベルデータから意味のある特徴（特に頑健な特徴）を効果的に活用でき、モデルの一般化性能を向上させることを確認した。
• 実験的結果により、adversarial インスタンス補正が有用な特徴を保持し、多様な開集合ノイズ設定においてモデル性能を向上させることを裏付けた。