[論文レビュー] Dash: Semi-Supervised Learning with Dynamic Thresholding

Yi Xu, Lei Shang+6 more|arXiv (Cornell University)|Sep 1, 2021

Machine Learning and Data Classification被引用数 52

ひとこと要約

Dashは動的閾値設定機構を導入し、SSLトレーニング中にラベルなしデータを選択することで、各反復で使用する疑似ラベル付き例を適応させて性能を向上させ、理論的な収束保証を提供します。

ABSTRACT

While semi-supervised learning (SSL) has received tremendous attentions in many machine learning tasks due to its successful use of unlabeled data, existing SSL algorithms use either all unlabeled examples or the unlabeled examples with a fixed high-confidence prediction during the training progress. However, it is possible that too many correct/wrong pseudo labeled examples are eliminated/selected. In this work we develop a simple yet powerful framework, whose key idea is to select a subset of training examples from the unlabeled data when performing existing SSL methods so that only the unlabeled examples with pseudo labels related to the labeled data will be used to train models. The selection is performed at each updating iteration by only keeping the examples whose losses are smaller than a given threshold that is dynamically adjusted through the iteration. Our proposed approach, Dash, enjoys its adaptivity in terms of unlabeled data selection and its theoretical guarantee. Specifically, we theoretically establish the convergence rate of Dash from the view of non-convex optimization. Finally, we empirically demonstrate the effectiveness of the proposed method in comparison with state-of-the-art over benchmarks.

研究の動機と目的

• SSLを固定の高信頼度閾値を避けることで改善する動機づけ。
• 反復ごとに減少する損失閾値に基づいて未ラベルデータを選択する動的閾値フレームワーク（Dash）を提案する。
• 非凸設定におけるDashアルゴリズムの理論的収束保証を提供する。
• 画像分類ベンチマークで最先端のSSL手法に対するDashの実験的有効性を示す。

提案手法

• Dashは動的閾値rho_t以下の損失を持つ例を維持して、更新ごとに未ラベルデータのサブセットを選択する。
• 閾値rho_tはrho_t = C * gamma^{-(t-1)} * rho_hatとして設定され、反復ごとに低下する。
• 初期のウォームアップ段階でラベル付きデータを用いてrho_hatを推定する；以降の選択段階ではFixMatchからの疑似ラベルを持つ未ラベルデータを使用する。
• 確率的勾配は、unsupervised損失f_u(w; xi^u) <= rho_tを満たす未ラベル例のみと、ラベル付きデータの損失を組み合わせて計算する。
• DashはFixMatchのような既存のSSLパイプラインと統合可能で、標準仮定（PL条件）の下で非漸近的収束保証を提供する。
• 理論的結果は、非凸仮定の下でサンプル複雑性と収束速度を確立し、監視付きSGDに似た速度と一致する。

実験結果

リサーチクエスチョン

• RQ1 未ラベルデータが分布の混合から来る場合に、収束を保証できるSSLアルゴリズムを設計できるか。
• RQ2 減少する損失閾値を介して未ラベルデータを動的に選択することは、FixMatchのような固定閾値手法よりSSL性能を改善するか。
• RQ3 正しい疑似ラベルの包含と誤ったものの排除をバランスさせるために、動的閾値をどのように構築・推定すべきか。
• RQ4 このような動的閾値SSL手法の理論的収束保証とサンプル複雑性はどうなるか。

主な発見

アルゴリズム	CIFAR-10 40ラベル	CIFAR-10 250ラベル	CIFAR-10 4000ラベル	CIFAR-100 400ラベル	CIFAR-100 2500ラベル	CIFAR-100 10000ラベル
Pi-model	-	-	-	-	-	-
Pseudo-Labeling	-	-	-	-	-	-
Mean Teacher	-	-	-	-	-	-
MixMatch	47.54 ± 11.50	11.05 ± 0.86	6.42 ± 0.10	67.61 ± 1.32	39.94 ± 0.37	28.31 ± 0.33
UDA	29.05 ± 5.93	8.82 ± 1.08	4.88 ± 0.18	59.28 ± 0.88	33.13 ± 0.22	24.50 ± 0.25
ReMixMatch	19.10 ± 9.64	5.44 ± 0.05	4.72 ± 0.13	44.28 ± 2.06	27.43 ± 0.31	23.03 ± 0.56
RYS (UDA)	-	5.53 ± 0.17	4.75 ± 0.28	-	-	-
RYS (FixMatch)	-	5.05 ± 0.12	4.35 ± 0.06	-	-	-
FixMatch (CTA)	11.39 ± 3.35	5.07 ± 0.33	4.31 ± 0.15	49.95 ± 3.01	28.64 ± 0.24	23.18 ± 0.11
Dash (CTA, ours)	9.16 ± 4.31	4.78 ± 0.12	4.13 ± 0.06	44.83 ± 1.36	27.85 ± 0.19	22.77 ± 0.21
FixMatch (RA)	13.81 ± 3.37	5.07 ± 0.65	4.26 ± 0.05	48.85 ± 1.75	28.29 ± 0.11	22.60 ± 0.12
Dash (RA, ours)	13.22 ± 3.75	4.56 ± 0.13	4.08 ± 0.06	44.76 ± 0.96	27.18 ± 0.21	21.97 ± 0.14

• Dashは提案された動的閾値SSLに対して非漸近的収束保証を非凸設定下で提供する。
• 経験的に、Dashは標準の画像分類ベンチマーク（CIFAR-10、CIFAR-100、SVHN、STL-10）において、さまざまなラベル制限下で複数の最先端SSL手法より優れている。
• Dashはトレーニング初期により多くの正しい疑似ラベル付き未ラベル例を維持し、後半エポックで固定閾値手法（FixMatch）より誤った例をより積極的に削減する。
• 理論的結果はDashの高確率収束を示し、O(1/ε)の具体的なサンプル複雑性境界を提供する。
• 異なるデータ拡張 regimes（CTA, RA）を用いた実験は、DashがFixMatchベースのパイプラインと互換性を持ち、競争力のある利得を示すことを示している。