[論文レビュー] ConMatch: Semi-Supervised Learning with Confidence-Guided Consistency Regularization

Jiwon Kim, Youngjo Min+5 more|arXiv (Cornell University)|Aug 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

ConMatchは、2つの強化されたビュー間の予測の整合性損失を学習された信頼度測度を用いて重み付けすることで、半教師あり学習における性能を向上させる信頼度誘導型一貫性正則化フレームワークを提案する。ネットワーク内にパrametric信頼度推定器を統合し、段階的訓練を採用することで、計算オーバーヘッドを最小限に抑えつつ、CIFAR-10、CIFAR-100、SVHNベンチマークで最先端の精度を達成した。

ABSTRACT

We present a novel semi-supervised learning framework that intelligently leverages the consistency regularization between the model's predictions from two strongly-augmented views of an image, weighted by a confidence of pseudo-label, dubbed ConMatch. While the latest semi-supervised learning methods use weakly- and strongly-augmented views of an image to define a directional consistency loss, how to define such direction for the consistency regularization between two strongly-augmented views remains unexplored. To account for this, we present novel confidence measures for pseudo-labels from strongly-augmented views by means of weakly-augmented view as an anchor in non-parametric and parametric approaches. Especially, in parametric approach, we present, for the first time, to learn the confidence of pseudo-label within the networks, which is learned with backbone model in an end-to-end manner. In addition, we also present a stage-wise training to boost the convergence of training. When incorporated in existing semi-supervised learners, ConMatch consistently boosts the performance. We conduct experiments to demonstrate the effectiveness of our ConMatch over the latest methods and provide extensive ablation studies. Code has been made publicly available at https://github.com/JiwonCocoder/ConMatch.

研究の動機と目的

• 半教師あり学習における2つの強化されたビュー間の方向性のある一貫性正則化の欠如に対処すること。
• 弱化されたビューをアンカーとして用いて、強化されたビューの疑似ラベルの信頼度推定を改善すること。
• エンドツーエンド最適化が可能なネットワーク内にパrametric信頼度学習メカニズムを導入すること。
• 段階的訓練戦略を用いて収束を加速すること。
• アーキテクチャの変更なしに既存の半教師あり学習者を強化できるプラグアンドプレイモジュールを提供すること。

提案手法

• 2つの強化されたビュー間の整合性損失を疑似ラベルの信頼度に基づいて重み付ける信頼度誘導型一貫性正則化を導入する。
• 弱化されたビューと強化されたビューの特徴量の類似性を用いた非パラメトリックな信頼度測度を提案する。
• バックボーンネットワークとエンドツーエンドで学習可能なパラメトリックな信頼度推定器を導入し、信頼度スコアを予測する。
• 段階的に一貫性正則化の強度を増やす段階的訓練スキームを採用する。
• 1つの入力に対して1つの弱化されたビューと2つの強化されたビューを持つデュアルブランチアーキテクチャを用いる。
• 弱化されたビューと1つの強化されたビューの間、および2つの強化されたビューの間で一貫性正則化を適用し、信頼度による重み付けを行う。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習における2つの強化されたビュー間の効果的な一貫性正則化の適用方法は何か？
• RQ2 弱化されたビューから導出される信頼度測度は、強化されたビューの疑似ラベルの信頼性を向上させることができるか？
• RQ3 ネットワーク内での信頼度のエンドツーエンド学習は、一般化性能と収束性を向上させるか？
• RQ4 段階的訓練スケジュールは、モデル性能と訓練安定性をさらに向上させることができるか？
• RQ5 標準ベンチマークにおいて、ConMatchは最先端手法と比較して、精度と頑健性の面でどのように差をつけるか？

主な発見

• ConMatchは、40枚のラベル付き画像を用いてCIFAR-10、CIFAR-100、SVHNで最先端の性能を達成し、FixMatchやFlexMatchを上回った。
• ConMatchの信頼度推定器は、AUC-ROCが0.95と高く、高信頼度と低信頼度のサンプルを識別する能力に優れている。
• パラメトリックな信頼度推定器は性能を顕著に向上させ、CIFAR-10では非パラメトリックベースライン比で0.5%の精度向上を達成した。
• t-SNE可視化により、ConMatchの信頼度スコアは高信頼度と低信頼度のサンプルを明確に分離しているのに対し、FixMatchやFlexMatchは、クラスタリングが不十分なサンプルに対しても曖昧な信頼度を割り当てていることが確認された。
• 段階的訓練スキームにより収束が加速し、特徴空間内でのラベル付きサンプルと弱化されたビューのクラスタリングが早期に達成された。
• アブレーションスタディの結果、非パラメトリック信頼度アプローチにおいて、特徴量間のコサイン類似度が最良の性能（CIFAR-10で5.02%の誤差）を示した。