[論文レビュー] DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples

Yi Xu, Jiandong Ding+2 more|arXiv (Cornell University)|Oct 26, 2021

Machine Learning and Data Classification参考文献 56被引用数 16

ひとこと要約

本稿では、データプログラミングを用いて、ラベルなしデータに対して多様で確率的なラベルを自動的に生成する学習ベースのアプローチを用いる、新しい半教師あり学習手法DP-SSLを提案する。ラベル付きサンプルが非常に少ない状況でも顕著な性能向上を達成する。DP-SSLは、自己生成ラベル関数からのノイズの多いラベルを解消するための、新しいポテンシャル関数と非教師あり正則化項を備えたラベルモデルを活用することで、CIFAR-10でたった40ラベルのみで93.46%の最先端性能を達成する。

ABSTRACT

The scarcity of labeled data is a critical obstacle to deep learning. Semi-supervised learning (SSL) provides a promising way to leverage unlabeled data by pseudo labels. However, when the size of labeled data is very small (say a few labeled samples per class), SSL performs poorly and unstably, possibly due to the low quality of learned pseudo labels. In this paper, we propose a new SSL method called DP-SSL that adopts an innovative data programming (DP) scheme to generate probabilistic labels for unlabeled data. Different from existing DP methods that rely on human experts to provide initial labeling functions (LFs), we develop a multiple-choice learning~(MCL) based approach to automatically generate LFs from scratch in SSL style. With the noisy labels produced by the LFs, we design a label model to resolve the conflict and overlap among the noisy labels, and finally infer probabilistic labels for unlabeled samples. Extensive experiments on four standard SSL benchmarks show that DP-SSL can provide reliable labels for unlabeled data and achieve better classification performance on test sets than existing SSL methods, especially when only a small number of labeled samples are available. Concretely, for CIFAR-10 with only 40 labeled samples, DP-SSL achieves 93.82% annotation accuracy on unlabeled data and 93.46% classification accuracy on test data, which are higher than the SOTA results.

研究の動機と目的

• クラスあたりのラベル付きサンプルが非常に少ない状況で、従来の半教師あり学習（SSL）手法が示す性能の低さと不安定性を是正すること。
• 従来のデータプログラミングが人為的ラベル関数に依存するのを克服し、SSL環境下で、元から多様で特化したラベル関数を自動生成すること。
• ノイズの多いラベルの間の矛盾や重複を解消する強力なラベルモデルを用いて、ラベルなしデータのラベル品質を向上させること。
• 新しい正則化項とラベルモデル設計を用いて、リソースが限られた状況下でもモデルの頑健性と一般化性能を向上させること。

提案手法

• ラベルなしデータから人為的ルールを一切用いずに、特徴量変換を用いて多様性を高める、複数選択学習（MCL）フレームワークを提案し、ラベル関数（LFs）を自動生成する。
• 各LFに「放棄」オプションを導入することで、過信の問題を軽減し、予測の信頼性を向上させる。
• ノイズが多く、矛盾するLFからの確率的ラベルを推定するための、新しいポテンシャル関数と非教師あり品質ガイドライン正則化項を備えたラベルモデルを設計する。
• 推定された確率的ラベルを弱い監視信号として用い、エンドツーエンドの分類器を学習することで、頑健な半教師あり学習を実現する。
• LFの特化性と多様性を高めるために、重み付き空間プーリング機構（特徴量変換）を採用する。
• LFの独立性を仮定することで訓練を簡略化するため、粗い精度推定をLF品質の代理として用いる。

実験結果

リサーチクエスチョン

• RQ1 人為的ルールなしで、自己教師ありの自動手法が、半教師あり学習に適した高品質なラベル関数を生成できるか？
• RQ2 多様なLFから得た確率的ラベルが、低ショット設定におけるハードな疑似ラベルと比較して、性能をどの程度向上させるか？
• RQ3 提案された正則化項とラベルモデル設計は、監視が限られた状況下で、ラベル推定の頑健性と分散の低減にどの程度寄与するか？
• RQ4 クラスあたり40ラベルしか利用できない状況で、DP-SSLの性能は最先端のSSL手法と比較してどの程度優れているか？

主な発見

• CIFAR-10でたった40ラベルしか利用しない状況でも、DP-SSLはラベルなしデータに対して93.82%のラベル付与精度を達成し、既存のSSL手法を著しく上回る。
• 同じCIFAR-10の設定下で、DP-SSLは93.46%のテスト分類精度を達成し、新たな最先端性能を樹立した。
• アブレーションスタディの結果、特徴量変換を用いたMCL（実験3）が最高の性能（93.82%のラベル付与精度）を示し、MCLなしまたは特徴量変換なしの設定を上回った。
• 正則化項は、ラベルデータが限られた状況でも性能のばらつきを低減し、頑健性を向上させる。特に低ショット設定で一貫した向上効果が確認された。
• ハイパーパramータ解析では、K=50のラベル関数とρ=0.2の特化率で最適な性能が得られ、変動に強く安定した結果を示した。
• ラベル付きサンプルを250から40に減らした際、DP-SSLは誤差率の上昇がたった1.76%にとどまる一方、既存手法は誤差率が急激に上昇（最大36.49%）する傾向を示した。