[論文レビュー] On The Consistency Training for Open-Set Semi-Supervised Learning.

Huixiang Luo, Hao Cheng+7 more|arXiv (Cornell University)|Jan 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 91被引用数 10

ひとこと要約

本論文は、分布外（OOD）サンプルを除外するのではなく、それらを活用するオープンセット半教師あり学習のための新しい一貫性学習手法を提案する。ラベル付きデータとラベルなしデータのクラス別分布のギャップを埋めることで、モデルの汎化性能を向上させ、特にOODサンプルが存在する現実的なデータシフト条件下で最先端の性能を達成する。

ABSTRACT

Conventional semi-supervised learning (SSL) methods, e.g., MixMatch, achieve great performance when both labeled and unlabeled dataset are drawn from the same distribution. However, these methods often suffer severe performance degradation in a more realistic setting, where unlabeled dataset contains out-of-distribution (OOD) samples. Recent approaches mitigate the negative influence of OOD samples by filtering them out from the unlabeled data. Our studies show that it is not necessary to get rid of OOD samples during training. On the contrary, the network can benefit from them if OOD samples are properly utilized. We thoroughly study how OOD samples affect DNN training in both low- and high-dimensional spaces, where two fundamental SSL methods are considered: Pseudo Labeling (PL) and Data Augmentation based Consistency Training (DACT). Conclusion is twofold: (1) unlike PL that suffers performance degradation, DACT brings improvement to model performance; (2) the improvement is closely related to class-wise distribution gap between the labeled and the unlabeled dataset. Motivated by this observation, we further improve the model performance by bridging the gap between the labeled and the unlabeled datasets (containing OOD samples). Compared to previous algorithms paying much attention to distinguishing between ID and OOD samples, our method makes better use of OOD samples and achieves state-of-the-art results.

研究の動機と目的

• ラベルなしデータに分布外（OOD）サンプルが含まれる状況で、従来の半教師あり学習（SSL）手法の性能低下を是正すること。
• 低次元および高次元空間における、深層ニューラルネットワークの学習にOODサンプルが与える影響を調査すること。
• OODサンプルを明示的に検出・除外するのではなく、建設的に活用する手法を開発し、データ分布シフト下でのモデルの汎化性能を向上させること。
• ラベル付きデータとラベルなしデータの間のクラス別分布ギャップを低減することが、性能向上の鍵的メカニズムであることを特定すること。
• OODサンプルをより効果的に活用することで、オープンセット半教師あり学習において最先端の性能を達成すること。

提案手法

• 本手法は、データ拡張（DACT）を用いた一貫性学習を採用し、摂動に対してモデルの不変性を促進することで、分布内およびOODサンプルの両方を活用する。
• ラベル付きデータとラベルなしデータのクラス別特徴分布を一致させるための分布ギャップ正則化を導入する。
• 明示的なOOD検出やフィルタリングを避ける代わりに、分布整合性に焦点を当て、ロバストネスを向上させる。
• 標準的一貫性損失とクラス別分布整合性損失を組み合わせた学習目的関数を採用し、混合データ上での学習を安定化させる。
• データシフト設定下で標準ベンチマーク上で評価され、汎化性能の向上が実証されている。
• 特に疑似ラベル付けとデータ拡張に基づく既存のSSLフレームワークと互換性があるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習下で、低次元および高次元空間における分布外（OOD）サンプルが深層ニューラルネットワークの学習に与える影響は何か？
• RQ2 OODサンプルが存在する状況で、なぜ一貫性学習（DACT）は性能を向上させるのに対し、疑似ラベル付け（PL）は性能が著しく低下するのか？
• RQ3 データシフト下におけるモデルの汎化性能において、ラベル付きデータとラベルなしデータの間のクラス別分布ギャップが果たす役割は何か？
• RQ4 OODサンプルを適切に訓練プロセスに統合すれば、有益であると見なせるか？
• RQ5 ラベル付きデータとラベルなしデータのクラス別分布を一致させることで、どのようにしてモデル性能を向上させられるか？

主な発見

• OODサンプルが存在する状況で、一貫性学習（DACT）はモデル性能を向上させるが、疑似ラベル付け（PL）は著しい性能低下を示す。
• DACTによる性能向上は、ラベル付きデータとラベルなしデータの間のクラス別分布ギャップと強く相関している。
• 分布整合性によるクラス別分布ギャップの低減が、汎化性能の向上と最先端の結果をもたらす。
• 特にオープンセット設定下で、OOD検出やフィルタリングに依存する従来手法よりも本手法が優れている。
• OODサンプルを除外するのではなく、建設的に活用することで、本手法はデータ分布シフトに対して優れたロバストネスを達成する。