[論文レビュー] InstanT: Semi-supervised Learning with Instance-dependent Thresholds

Muyang Li, Runze Wu+5 more|arXiv (Cornell University)|Oct 29, 2023

Machine Learning and Data Classification被引用数 5

ひとこと要約

InstanTは、個々の曖昧さと予測誤差率に基づいて、ラベルなしサンプルに対してインスタンス依存の信頼度しきい値を割り当てる、画期的な半教師あり学習手法を提案する。この手法により、正しい擬似ラベル割り当ての確率が上限付きとなる。本手法は、ノイズを低減しながらも高い効率を維持するようにしきい値を動的に調整することで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Semi-supervised learning (SSL) has been a fundamental challenge in machine learning for decades. The primary family of SSL algorithms, known as pseudo-labeling, involves assigning pseudo-labels to confident unlabeled instances and incorporating them into the training set. Therefore, the selection criteria of confident instances are crucial to the success of SSL. Recently, there has been growing interest in the development of SSL methods that use dynamic or adaptive thresholds. Yet, these methods typically apply the same threshold to all samples, or use class-dependent thresholds for instances belonging to a certain class, while neglecting instance-level information. In this paper, we propose the study of instance-dependent thresholds, which has the highest degree of freedom compared with existing methods. Specifically, we devise a novel instance-dependent threshold function for all unlabeled instances by utilizing their instance-level ambiguity and the instance-dependent error rates of pseudo-labels, so instances that are more likely to have incorrect pseudo-labels will have higher thresholds. Furthermore, we demonstrate that our instance-dependent threshold function provides a bounded probabilistic guarantee for the correctness of the pseudo-labels it assigns.

研究の動機と目的

• 擬似ラベル付けにおける均一またはクラス依存しきい値の限界を解消するため、インスタンスレベルの適応性を導入すること。
• インスタンス依存のラベルノイズと予測の曖昧さをモデル化し、しきい値選択を支援すること。
• 割り当てられた擬似ラベルの正しさの確率に対する理論的下界を提供すること。
• 一般化性能を向上させるために、擬似ラベル付きサンプルの数と品質のバランスを改善すること。

提案手法

• 本手法は、予測誤差率が高く、クラス事後確率に大きな曖昧性を示すサンプルに対してしきい値が上昇するインスタンス依存のしきい値関数を定義する。
• ラベル付きデータ上で訓練された推定器を用いて、インスタンスレベルのラベルノイズを推定する。
• しきい値関数は、予測されたクリーンなクラス事後確率と、各インスタンスごとの推定誤差率から導出される。
• 各反復で動的しきい値を適用して高信頼度の擬似ラベル付きサンプルを選択することで、標準的なSSL訓練に統合される。
• 再トレーニングの負荷を回避することで計算効率を維持し、FixMatchやAdaMatchと比較して最小限のオーバーヘッドにとどめる。
• 理論的分析により、正しい擬似ラベル割り当ての確率が下限付きであり、訓練が進むに従い1に漸近的に近づくことが証明されている。

Figure 1: Illustration on the differences between uniform thresholds, class-dependent thresholds, and instance-dependent thresholds in SSL. The black solid lines are the decision boundaries generated by the classifier, and the colored dashed lines are the confidence thresholds, the colored square, t

実験結果

リサーチクエスチョン

• RQ1 均一またはクラス依存しきい値と比較して、インスタンス依存しきい値は、半教師あり学習における擬似ラベルの信頼性を向上させることができるか？
• RQ2 インスタンス依存しきい値を用いた場合、擬似ラベルの正しさに対する理論的保証は何か？
• RQ3 提案手法は、擬似ラベル付きサンプルの数と品質のトレードオフをどのようにバランスさせるか？
• RQ4 本手法は、標準ベンチマークで優れた性能を達成しながらも、高い効率を維持するか？

主な発見

• STL-10で40個のラベル付きサンプルを使用した場合、InstanTは85.09%のトップ-1正答率を達成し、AdaMatch（83.50%）とFixMatch（77.72%）を上回った。
• CIFAR-100で400個のラベル付きサンプルを使用した場合、InstanTは後期の訓練段階でFreeMatchを上回ったが、使用するラベルなしサンプル数は低かった。
• アブレーションスタディでは、インスタンス依存しきい値を追加しただけで2.2%の向上が得られ、その有効性が確認された。
• InstanTは、FreeMatchよりもノイズの多いサンプルをより少ない数で使用しながらも、高い擬似ラベル正答率（DAを用いた場合82.97%、DAとRTを両方用いた場合85.09%）を維持した。
• 本手法は計算オーバーヘッドをほとんど導入せず、FixMatchやAdaMatchと同等のトレーニング時間となった。
• 理論的保証により、正しい擬似ラベルを割り当てる確率が、訓練が進むに従い1に漸近的に近づくことが保証され、信頼性の裏付けが得られた。

Figure 2: Overview of InstanT. Left: training process of transition matrix estimator $\hat{f}_{\theta^{{}^{\prime}}}$ . For a labeled instance $\bm{x_{l}}$ , whose label is 2 , the classifier $\hat{f}_{\theta}$ will first generate its noisy class posterior. Then, we want the second row of the transi