[論文レビュー] USB: A Unified Semi-supervised Learning Benchmark for Classification

Yidong Wang, Hao Chen+20 more|arXiv (Cornell University)|Aug 12, 2022

Advanced Neural Network Applications被引用数 42

ひとこと要約

USB はCV、NLP、Audioの15タスクを横断する統一的でクロスドメインの半教師あり学習ベンチマークを提案し、事前学習済みバックボーンを用いて14個のSSLアルゴリズムの評価を費用効率化可能にする。

ABSTRACT

Semi-supervised learning (SSL) improves model generalization by leveraging massive unlabeled data to augment limited labeled samples. However, currently, popular SSL evaluation protocols are often constrained to computer vision (CV) tasks. In addition, previous work typically trains deep neural networks from scratch, which is time-consuming and environmentally unfriendly. To address the above issues, we construct a Unified SSL Benchmark (USB) for classification by selecting 15 diverse, challenging, and comprehensive tasks from CV, natural language processing (NLP), and audio processing (Audio), on which we systematically evaluate the dominant SSL methods, and also open-source a modular and extensible codebase for fair evaluation of these SSL methods. We further provide the pre-trained versions of the state-of-the-art neural models for CV tasks to make the cost affordable for further tuning. USB enables the evaluation of a single SSL algorithm on more tasks from multiple domains but with less cost. Specifically, on a single NVIDIA V100, only 39 GPU days are required to evaluate FixMatch on 15 tasks in USB while 335 GPU days (279 GPU days on 4 CV datasets except for ImageNet) are needed on 5 CV tasks with TorchSSL.

研究の動機と目的

• CVタスクに限定されたSSLベンチマークと高いトレーニングコストの限界に動機づけと対処を行う。
• CV、NLP、Audioにまたがる15の多様なタスクを含む統一SSLベンチマーク（USB）を構築する。
• 事前学習済みバックボーンと事前学習/ファインチューニングのパラダイムを採用して費用効率の高い評価を可能にする。
• 再現性のあるSSL研究のためにオープンソースでモジュラーなコードベースと事前学習済みモデルを提供する。

提案手法

• CV、NLP、Audioから15の多様で挑戦的なタスクを選択してUSBを構成する。
• 一貫性正則化に基づく14のSSLアルゴリズムを実装する（例：Pi model、Pseudo Labeling、Mean Teacher、VAT、MixMatch、ReMixMatch、UDA、FixMatch、Dash、CoMatch、CRMatch、FlexMatch、AdaMatch、SimMatch）。
• トレーニング反復を削減するために事前学習済みバックボーン（CVはViT、NLPはBERT、AudioはWav2Vec 2.0/HuBert）を使用する。
• 低コストの事前学習+ファインチューニングパラダイムの下でSSL手法を評価し、再現性設定ファイルとトレーニングログとともに結果を報告する。
• ドメイン間でSSLパフォーマンスを比較し、多様なタスク、事前学習、ラベルなしデータの可用性の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 CVタスクで訓練されたSSL手法は統一ベンチマーク内でNLPおよびAudioタスクに一般化するか。
• RQ2 事前学習＋ファインチューニングは精度を保つまたは向上させながらSSL評価コストを有意に削減するか。
• RQ3 USBで評価したとき、複数のドメイン（CV、NLP、Audio）間でSSLアルゴリズムはどう比較されるか。
• RQ4 適応閾値設定、自己教師あり損失、分布整列など、どの要因がドメイン横断でSSL性能に最も影響を与えるか。

主な発見

• 事前学習済みバックボーンはトレーニング反復を大幅に削減し、データセット全般でSSL性能を向上させることが多い。
• ReMixMatchはMixup、Distribution Alignment、回転自己教師あり損失により一貫して高順位で、特に長尾のCVデータで有効。
• 適応閾値法（FlexMatch、AdaMatch）は自己教師あり損失なしでCVとNLPの両方で良好に機能する。
• SSL手法の性能順位はドメインによって異なり、ドメイン固有の特性がSSLの有効性に影響を与えることを示す。
• USBは以前のプロトコル（例：CV5タスクで335 GPU日）より遥かに低い評価コスト（15タスクで39 GPU日）を達成。
• AudioタスクのSSL結果は独自の傾向を示し、AdaMatchとSimMatchが高性能だが、CRMatchのような手法は生の波形データのため苦戦する。