[論文レビュー] SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning

Byoungjip Kim, Jinho Choo+4 more|arXiv (Cornell University)|Jan 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 29

ひとこと要約

SelfMatch は、対照的自己監督学習による事前学習と augmentation-consistency 半教師あり微調整を組み合わせて、CIFAR-10 と SVHN で最先端の結果を達成し、特にラベルが非常に少ない場合に有効である。

ABSTRACT

This paper introduces SelfMatch, a semi-supervised learning method that combines the power of contrastive self-supervised learning and consistency regularization. SelfMatch consists of two stages: (1) self-supervised pre-training based on contrastive learning and (2) semi-supervised fine-tuning based on augmentation consistency regularization. We empirically demonstrate that SelfMatch achieves the state-of-the-art results on standard benchmark datasets such as CIFAR-10 and SVHN. For example, for CIFAR-10 with 40 labeled examples, SelfMatch achieves 93.19% accuracy that outperforms the strong previous methods such as MixMatch (52.46%), UDA (70.95%), ReMixMatch (80.9%), and FixMatch (86.19%). We note that SelfMatch can close the gap between supervised learning (95.87%) and semi-supervised learning (93.19%) by using only a few labels for each class.

研究の動機と目的

• ラベル効率的な学習を動機づけるため、自己監督型事前学習と半教師あり微調整を通じて未ラベルデータを活用する。
• 対照的事前学習（SimCLR）と augmentation-consistency 微調整（FixMatch）を結合すると最先端の結果が得られることを実証する。
• 2段階が補完的で、少数のラベルで監督付きと半教師付きの性能差を縮めることができることを示す。

提案手法

• SelfMatch は2段階のアプローチを採用する： (1) 未ラベルデータから表現を学習する対照学習に基づく自己監督型事前学習（ResNet-34 エンコーダーと2層のMLP射影ヘッドを用いた対照損失、データ拡張としてランダムクロップとカラー歪みを含む）。
• (2) augmentation-consistency に基づく半教師あり微調整（弱拡張と強拡張を RandAugment で適用）を行い、弱拡張データの監督付きクロスエントロピーと、強拡張データの信頼閾値を用いた無監督整合性を組み合わせた損失を最適化する。
• 学習設定には momentum を用いた SGD、コサイン学習率減衰、安定性のための Exponential Moving Average（EMA）を含む。
• 表2 は自己教師あり事前学習がベースラインの半教師あり手法に与える影響を示すアブレーション結果を示している。

実験結果

リサーチクエスチョン

• RQ1 対照的な自己監督型事前学習は、ラベルが限られたデータで半教師あり学習の性能を改善できるか。
• RQ2 augmentation-consistency 半教師あり微調整は、前段の対照的な事前学習ステージからの利得を受けられるか。
• RQ3 SelfMatch は標準ベンチマーク（CIFAR-10, SVHN）において、先行の最先端手法と比較して非常に少ないラベルでどの程度の性能を示すか。

主な発見

• SelfMatch は CIFAR-10 と SVHN のラベル別条件で新たな最先端結果を達成し、CIFAR-10 では 40, 250, 4000 ラベル、SVHN では 40, 250, 1000 ラベルで優位を確立した。
• CIFAR-10 で 40 ラベルの場合、SelfMatch は 93.19% の精度を達成し、MixMatch (52.46%)、UDA (70.95%)、ReMixMatch (80.9%)、FixMatch (86.19%) を上回る。
• 自己監督型事前学習は、ベースラインの半教師あり手法に対して大きな利得を提供する（例：40 ラベル時の MixMatch で +10.96%、FixMatch で +7.00%）。
• SelfMatch は、未ラベルデータを効果的に活用することで、監督付き（CIFAR-10 の 95.87%）と半教師付きの性能差を縮める。
• アブレーション研究（Appendix C）と学習曲線の比較は、SelfMatch が競合手法より高速かつ高精度で収束することを示している。