[論文レビュー] SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification

Zijian Hu, Zhengyu Yang+2 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 159

ひとこと要約

本論文は、類似する未ラベル付きサンプルの高信頼度の偽ラベル間の統計的距離を最小化する新しいペア損失を導入することで分類精度を向上させる半教師あり学習手法SimPLEを提案する。この損失をMixMatch風の一貫性正則化と組み合わせることで、CIFAR-10、SVHN、CIFAR-100、Mini-ImageNetで最先端または準拠の高い性能を達成し、ImageNet-またはDomainNet-Realで事前学習されたモデルを用いた転移学習設定でも顕著に優れた性能を発揮する。

ABSTRACT

A common classification task situation is where one has a large amount of data available for training, but only a small portion is annotated with class labels. The goal of semi-supervised training, in this context, is to improve classification accuracy by leverage information not only from labeled data but also from a large amount of unlabeled data. Recent works have developed significant improvements by exploring the consistency constrain between differently augmented labeled and unlabeled data. Following this path, we propose a novel unsupervised objective that focuses on the less studied relationship between the high confidence unlabeled data that are similar to each other. The new proposed Pair Loss minimizes the statistical distance between high confidence pseudo labels with similarity above a certain threshold. Combining the Pair Loss with the techniques developed by the MixMatch family, our proposed SimPLE algorithm shows significant performance gains over previous algorithms on CIFAR-100 and Mini-ImageNet, and is on par with the state-of-the-art methods on CIFAR-10 and SVHN. Furthermore, SimPLE also outperforms the state-of-the-art methods in the transfer learning setting, where models are initialized by the weights pre-trained on ImageNet or DomainNet-Real. The code is available at github.com/zijian-hu/SimPLE.

研究の動機と目的

• 類似した未ラベル付きサンプルで高信頼度の偽ラベルを持つもの同士の関係を活用することで、半教師あり学習の性能を向上させること。
• ラベル付きデータから未ラベル付きデータへのラベル伝播や、増幅された視覚的ビュー間の一貫性に加え、未ラベル付きサンプル同士の関係がまだ十分に活用されていない点に着目すること。
• 類似した高信頼度の未ラベル付き予測の間の一貫性を促進することで、モデルの一般化性能を向上させる新しい無教師損失項を開発すること。
• 提案手法の有効性を、標準ベンチマークおよび事前学習モデルを用いた現実的な転移学習シナリオで評価すること。

提案手法

• 同じ未ラベル付きサンプルの複数の弱い増幅ビューからの予測を平均化・鋭化することで、偽ラベルを生成する。
• 弱い増幅を用いたラベル付きデータに対して、教師ありの交差エントロピー損失を適用する。
• 強い増幅を施した未ラベル付きデータの予測とその偽ラベルとの間のL2距離損失を用い、増幅間の一貫性を強制する。
• 類似した未ラベル付きサンプルの予測間の統計的距離を最小化する新しいペア損失を導入し、類似度しきい値と信頼度しきい値を用いる。
• 教師あり損失、無教師一貫性損失、および新しいペア損失を組み合わせた総合的な学習目的を設定し、頑健性を高めるためにハイパーパrameterを調整する。
• 既存のSSL手法（MixMatch、ReMixMatch、FixMatch）と互換性があり、ResNetおよびWide ResNetバックボーンを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 類似した未ラベル付きサンプルの高信頼度偽ラベル間の一貫性を向上させることで、半教師あり学習における一般化性能が向上するか？
• RQ2 既存の一貫性正則化および偽ラベル付け戦略と比較して、提案されたペア損失は性能および頑健性の面で優れているか？
• RQ3 ImageNetまたはDomainNet-Realで事前学習されたモデルから初期化した場合、SimPLEフレームワークは転移学習シナリオでも性能を維持または向上させるか？
• RQ4 信頼度しきい値および類似度しきい値といったハイパーパrameterの選択に、ペア損失はどれほど感度を示すか？
• RQ5 本手法は、Mini-ImageNetのようなより複雑なデータセットに対しても効果的にスケーリング可能か？

主な発見

• 10,000枚のラベル付き画像を用いたCIFAR-100では、SimPLEはトップ-1正解率73.04％を達成し、ペア損失を含まないベースライン（69.07％）を顕著に上回り、先行するSOTA手法をも凌駆する。
• Mini-ImageNetでは、ResNet-18やWRN-28-2を含む複数のバックボーンで最先端性能を達成し、複雑なデータセットへの高いスケーラビリティを示している。
• ImageNet-1KからDomainNet-Realへの転移学習では、3,795枚のラベル付きデータで50.90％の正解率を達成し、教師ありベースライン（42.91％）およびMixMatch（35.34％）を8ポイント以上上回る。
• 事前学習モデルを用いた場合、SimPLEは訓練を初期化から行う場合と比較して5〜100倍速く収束し、実世界の設定において顕著な実用的効率性を示している。
• アブレーションスタディにより、ペア損失は信頼度および類似度しきい値の変更に対して頑健であることが確認され、より多様な増幅や増幅数の増加に伴い性能が向上することが示された。
• RandAugmentを削除しても性能が著しく低下せず、ペア損失が増幅方策に依存せずに有効に機能することが示された。