[論文レビュー] OpenCoS: Contrastive Semi-supervised Learning for Handling Open-set Unlabeled Data

Jongjin Park, Sukmin Yun+2 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 7

ひとこと要約

OpenCoS は、ラベルなしデータにラベル付きデータに存在しないクラス外のサンプルが含まれる状況（オープンセットのラベルなしデータ）を効果的に処理する対照的半教師あり学習フレームワークを提案する。自己教師付き対照的表現を活用してクラス内・クラス外のサンプルを検出する。信頼性の高いクラス内サンプルには one-hot 仮ラベルを、クラス外サンプルには補助的なバッチ正規化を用いたソフトラベルを割り当て、クラス分布の不一致が生じる状況下でも最先端の SSL メソッドを大きく上回る性能を発揮。Tiny-ImageNet をクラス外データとして使用した CIFAR-10 では、40ラベルのみで 69.38% の精度を達成した。

ABSTRACT

Semi-supervised learning (SSL) has been a powerful strategy to incorporate few labels in learning better representations. In this paper, we focus on a practical scenario that one aims to apply SSL when unlabeled data may contain out-of-class samples - those that cannot have one-hot encoded labels from a closed-set of classes in label data, i.e., the unlabeled data is an open-set. Specifically, we introduce OpenCoS, a simple framework for handling this realistic semi-supervised learning scenario based upon a recent framework of self-supervised visual representation learning. We first observe that the out-of-class samples in the open-set unlabeled dataset can be identified effectively via self-supervised contrastive learning. Then, OpenCoS utilizes this information to overcome the failure modes in the existing state-of-the-art semi-supervised methods, by utilizing one-hot pseudo-labels and soft-labels for the identified in- and out-of-class unlabeled data, respectively. Our extensive experimental results show the effectiveness of OpenCoS under the presence of out-of-class samples, fixing up the state-of-the-art semi-supervised methods to be suitable for diverse scenarios involving open-set unlabeled data.

研究の動機と目的

• ラベル付きデータに存在しないクラス外のサンプルがラベルなしデータに含まれる状況において、半教師あり学習（SSL）の実用的限界を解消すること。
• 既存の SSL メソッドがクラス外サンプルを誤ってラベル付けする際に生じるエントロピー最小化や一貫性正則化の失敗モードを克服すること。
• 教師なし表現を活用して、クラス内およびクラス外のラベルなしサンプルを検出し、適切にラベルづけする汎用的なフレームワークを提案すること。
• 特に低ラベルレジーム下で顕著なクラス分布の不一致が生じる現実的な SSL シナリオにおいて、モデルの一般化性能と精度を向上させること。

提案手法

• ラベル付きおよびラベルなしデータの両方に対して SimCLR をベースとした自己教師付き対照的学習を用いて表現を事前学習し、クラス外サンプルの効果的検出を可能にする。
• 対照的表現の類似度に基づく検出基準を適用し、ラベルなしデータ内のクラス内・クラス外サンプルを区別する。
• クラス内ラベルなしサンプルのうち、上位-k 個の信頼性の高いサンプルに one-hot 仮ラベルを割り当て、ラベル付きデータセットに統合する。
• モデルの事後予測分布から導かれるソフトラベルをクラス外サンプルに適用し、分布シフトに対して頑健性を向上させる。
• 補助的なバッチ正規化層を導入し、正規化統計を分離することで、クラス外サンプルが特徴統計に与える悪影響を軽減する。
• ReMixMatch や FixMatch といった既存の SSL メソッドと統合可能であり、オープンセット条件下でも即座に拡張可能なプラグアンドプレイ型の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 クラス分布の不一致下で、自己教師付き対照的表現学習が、クラス外サンプルを効果的にラベルなしデータ内から検出できるか？
• RQ2 クラス外サンプルは、無視されるか誤ってラベルづけされるのではなく、どのように意味的に活用できるか？
• RQ3 対照的表現に基づいてクラス外サンプルにソフトラベルを割り当てる手法は、標準的な仮ラベル化と比較して、一般化性能と精度を向上させるか？
• RQ4 OpenCoS は、現実的でオープンセットのラベルなしデータを想定した環境下で、最先端の SSL メソッドをどの程度向上させるか？
• RQ5 本手法は、ViT と DINO を用いたバックボーンアーキテクチャや事前学習スキームにも汎用的に適用可能か？

主な発見

• CIFAR-10 において、40ラベルと Tiny-ImageNet をクラス外データとして使用した場合、OpenCoS は ReMixMatch-ft のテスト精度を 22.53% から 58.02% まで向上させた。
• 同じベンチマークで、OpenCoS はわずか 40 ラベル（1クラスあたり 4 個）で 69.38% の精度を達成し、SOTA ベースラインの OpenMatch（62.71%）を上回った。
• アブレーションスタディにより、各モジュール（検出、補助損失、補助 BN、top-k 仮ラベル）が性能向上に段階的に寄与していることが確認され、完全な OpenCoS モデルでは 58.02% の精度に到達した。
• DINO 事前学習済み ViT を用いた場合、OpenCoS は Food スーパークラスにおける FixMatch-ft の精度を 66.95% から 72.00% まで向上させ、ビジョントランスフォーマーとも良好に互換性があることを示した。
• ソフトラベル化スキームは、クラス外サンプルとクラス内サンプルの意味的類似性（例：犬に似た動物）を的確に捉え、類似度が高いケースでは高い信頼度を割り当てつつ、関連のないサンプルに対しては一様に近い分布を維持していた。
• 補助バッチ正規化層の使用は、クラス外サンプルがバッチ統計に与える悪影響を顕著に軽減し、モデルの頑健性を大幅に向上させた。