[論文レビュー] Negative sampling in semi-supervised learning

John Chen, Vatsal Shah+1 more|arXiv (Cornell University)|Nov 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 5

ひとこと要約

本論文は、既存のSSLアルゴリズムに負例サンプリング損失を追加することで性能を向上させる、シンプルで高速かつ簡単にチューニング可能な半教師あり学習手法NS³Lを提案する。不均衡データを用いて低確率クラスを対照的にペナルティ化することで、CIFAR10、CIFAR100、SVHN、STL10のあらゆるベンチマークで性能向上を達成し、ハイパーパramータの最小限のチューニングでも、ヴァニラなVAT や MixMatch を上回る性能を発揮する。

ABSTRACT

We introduce Negative Sampling in Semi-Supervised Learning (NS3L), a simple, fast, easy to tune algorithm for semi-supervised learning (SSL). NS3L is motivated by the success of negative sampling/contrastive estimation. We demonstrate that adding the NS3L loss to state-of-the-art SSL algorithms, such as the Virtual Adversarial Training (VAT), significantly improves upon vanilla VAT and its variant, VAT with Entropy Minimization. By adding the NS3L loss to MixMatch, the current state-of-the-art approach on semi-supervised tasks, we observe significant improvements over vanilla MixMatch. We conduct extensive experiments on the CIFAR10, CIFAR100, SVHN and STL10 benchmark datasets.

研究の動機と目的

• 不均衡データを活用して性能を向上させる、シンプルで高速かつ簡単にチューニング可能な半教師あり学習手法の開発。
• 深層学習におけるラベル付けコストの高い課題に対処するため、複雑なモデル変更を加えずに不均衡データを効果的に活用する。
• 負例サンプリング損失を追加することで、VAT や MixMatch といった最先端のSSLアルゴリズムが顕著に向上することを示すこと。
• 限られたハイパーパrameterチューニングで高い性能を維持しながら、解釈可能で頑健な手法を提供すること。

提案手法

• NS³Lは、不均衡データに対するモデルの出力確率を低確率クラスに対してペナルティを与える新しい損失関数を導入する。
• 各不均衡データサンプルに対して、ハイパーパrameter T を用いて出力確率をしきい値処理し、確率がT未満のクラスを負例として扱う。
• NS³L損失は、これらの低確率クラスの負の対数尤度として計算され、モデルが正しいクラスに高い信頼度を割り当てるよう促進する。
• NS³L損失は、交差エントロピー、VAT、MixMatch などの既存のSSL目的関数と組み合わせられ、統合最適化目的関数を形成する。
• 本手法はモジュール型に設計されており、計算オーバーヘッドを最小限に抑えながら、任意の既存のSSLフレームワークに容易に統合可能である。
• ハイパーパrameterには、負例クラスを選択するためのしきい値Tと、NS³L損失の他の損失関数に対する重みλ₁が含まれる。

実験結果

リサーチクエスチョン

• RQ1 負例サンプリングに基づくシンプルでモジュール型の損失関数が、半教師あり学習の性能向上に寄与するか？
• RQ2 VAT や MixMatch といった最先端のSSL手法と組み合わせた場合、NS³Lの性能はいかがであるか？
• RQ3 NS³Lは、さまざまなデータセットと設定において、ハイパーパrameter T および λ₁ に対してどれほど感受性を示すか？
• RQ4 NS³Lは、CIFAR10、CIFAR100、SVHN、STL10 といった多様なベンチマークで一貫した向上を示すか？

主な発見

• CIFAR100で10,000個のラベル付きサンプルを使用した場合、NS³LをVATに追加することで、疑似ラベル付けとエントロピー最小化よりもテスト誤差が0.6%改善された。
• CIFAR10で4,000個のラベル付きサンプルを使用した場合、VATと組み合わせたNS³Lはテスト誤差を3.38% ± 0.08にまで低下させ、ヴァニラなVAT や MixMatch を上回った。
• SVHNで250個のラベル付きサンプルを使用した場合、MixMatch + NS³Lはテスト誤差3.38% ± 0.08を達成し、MixMatchの3.75% ± 0.09を上回った。
• STL10で1,000個のラベル付きサンプルを使用した場合、MixMatch + NS³Lはテスト誤差21.74% ± 0.33に低下したのに対し、MixMatchは22.20% ± 0.89であった。
• 最適なしきい値T ≈ 0.04は、10クラスのデータセットにおいて経験的に安定しており、Tの変動に対して頑健であることが示された。
• NS³Lは計算的に効率的であり、NS³L単体で実行した場合、VAT よりも2倍以上高速に実行可能であった。これは、前向き/後向き伝搬の回数が削減されたためである。