[論文レビュー] CLS: Cross Labeling Supervision for Semi-Supervised Learning

Yao Yao, Junyi Shen+3 more|arXiv (Cornell University)|Feb 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、確認バイアスを軽減するために補完的ラベルと2つの独立して初期化されたネットワーク間のコ・トレーニングを導入することで、偽ラベル化を強化する半教師あり学習フレームワークであるクロスラベルリング監督（CLS）を提案する。予測の信頼度に基づく適応的サンプル重みの割り当てと相互監視を可能にすることで、CIFAR-10およびCIFAR-100で最先端の性能を達成し、FixMatchを上回る。

ABSTRACT

It is well known that the success of deep neural networks is greatly attributed to large-scale labeled datasets. However, it can be extremely time-consuming and laborious to collect sufficient high-quality labeled data in most practical applications. Semi-supervised learning (SSL) provides an effective solution to reduce the cost of labeling by simultaneously leveraging both labeled and unlabeled data. In this work, we present Cross Labeling Supervision (CLS), a framework that generalizes the typical pseudo-labeling process. Based on FixMatch, where a pseudo label is generated from a weakly-augmented sample to teach the prediction on a strong augmentation of the same input sample, CLS allows the creation of both pseudo and complementary labels to support both positive and negative learning. To mitigate the confirmation bias of self-labeling and boost the tolerance to false labels, two different initialized networks with the same structure are trained simultaneously. Each network utilizes high-confidence labels from the other network as additional supervision signals. During the label generation phase, adaptive sample weights are assigned to artificial labels according to their prediction confidence. The sample weight plays two roles: quantify the generated labels' quality and reduce the disruption of inaccurate labels on network training. Experimental results on the semi-supervised classification task show that our framework outperforms existing approaches by large margins on the CIFAR-10 and CIFAR-100 datasets.

研究の動機と目的

• 自己訓練ベースの半教師あり学習における確認バイアスを是正すること、ここでは不正確な偽ラベルがモデル性能を低下させる。
• 否定的学習を支援するため、補完的ラベルを導入することで、誤りのある人工ラベルに対する耐性を向上させること。
• 高信頼度の偽ラベルに依存するのを減らすために、2つの独立して初期化されたネットワーク間でのコ・トレーニングを実施すること。
• 予測の信頼度に基づく適応的サンプル重みの割り当てにより、人工ラベルの一般化性能を向上させること。
• 標準的な半教師あり画像分類ベンチマークで最先端の性能を達成すること。

提案手法

• CLSはFixMatchを拡張し、偽ラベルと補完的ラベルを互いに生成する2つの並列で独立して初期化されたネットワークを導入する。
• 各ネットワークは、相手のネットワークからの高信頼度予測を追加の監視信号として使用し、コ・トレーニングを実現し、確認バイアスを低減する。
• 補完的ラベルは、相手のネットワーク出力から信頼度が最も低い上位-kクラスをとることで生成され、否定的学習を支援する。
• 予測の信頼度に基づいて人工ラベルに適応的サンプル重みを割り当て、低信頼度または誤ったラベルの影響を軽減する。
• フレームワークは一貫性正則化と偽ラベル化を組み合わせており、トレーニングには強力なオーグメンテーション、ラベル生成には弱いオーグメンテーションを用いる。
• トレーニングは、ラベル付きデータ、偽ラベル、補完的ラベルを組み合わせ、信頼度に基づく重み付けを用いて両ネットワークを交互に更新する。

実験結果

リサーチクエスチョン

• RQ1 2つの独立して訓練されたネットワーク間での相互監視は、半教師あり学習における確認バイアスを軽減できるか？
• RQ2 補完的ラベルの導入は、誤った偽ラベルに対するモデルの耐性をどのように向上させるか？
• RQ3 予測の信頼度に基づく適応的サンプル重み付けは、学習の安定性と性能をどの程度向上させるか？
• RQ4 補完的ラベルを用いたコ・トレーニングは、低データ環境下で標準的な偽ラベル化よりも優れた一般化性能を達成できるか？
• RQ5 標準ベンチマークにおいて、FixMatch や MixMatch といった最先端手法と比較して、CLSはどのように評価されるか？

主な発見

• CLSは、標準的な半教師あり学習設定下で、CIFAR-10でFixMatchを顕著に上回る最先端の性能を達成した。
• CIFAR-100では、既存の手法と比較して優れた正確度を達成し、高次元のラベル空間における強力な一般化性能を示した。
• 補完的ラベルとコ・トレーニングの導入により、低信頼度の偽ラベルの負の影響が顕著に軽減され、耐性が向上した。
• 信頼度に基づく適応的サンプル重み付けは、訓練中に不正確なラベルの影響を効果的に抑制した。
• 二重ネットワークのコ・トレーニングメカニズムにより正則化効果が得られ、学習の安定性と収束性が向上した。
• 実験結果から、CLSは複数回の実行およびデータ分割において一貫して性能を向上させることを確認し、高い信頼性を示した。