[論文レビュー] Semantically-Conditioned Negative Samples for Efficient Contrastive Learning

James O’Neill, Danushka Bollegala|arXiv (Cornell University)|Feb 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 4

ひとこと要約

本稿では、事前学習された埋め込みを用いて情報量の多いネガティブサンプルを選択することで、対照的学習の効率を向上させる、意味的条件下ネガティブサンプリング（SCNS）と潜在空間ミックスアップを提案する。SCNSは意味的に類似したクラスやインスタンスからネガティブサンプルを抽出するのに対し、潜在空間ミックスアップは補間によってハードな偽ネガティブサンプルを生成する。両手法は、知識蒸留設定下でCIFAR-10で最大1.52%、Tiny-ImageNet-200で最大4.56%の精度向上を達成する。

ABSTRACT

Negative sampling is a limiting factor w.r.t. the generalization of metric-learned neural networks. We show that uniform negative sampling provides little information about the class boundaries and thus propose three novel techniques for efficient negative sampling: drawing negative samples from (1) the top-$k$ most semantically similar classes, (2) the top-$k$ most semantically similar samples and (3) interpolating between contrastive latent representations to create pseudo negatives. Our experiments on CIFAR-10, CIFAR-100 and Tiny-ImageNet-200 show that our proposed extit{Semantically Conditioned Negative Sampling} and Latent Mixup lead to consistent performance improvements. In the standard supervised learning setting, on average we increase test accuracy by 1.52\% percentage points on CIFAR-10 across various network architectures. In the knowledge distillation setting, (1) the performance of student networks increase by 4.56\% percentage points on Tiny-ImageNet-200 and 3.29\% on CIFAR-100 over student networks trained with no teacher and (2) 1.23\% and 1.72\% respectively over a extit{hard-to-beat} baseline (Hinton et al., 2015).

研究の動機と目的

• 対照的学習における均一なネガティブサンプリングの非効率性、特にクラス境界に関する情報が限られていることに対処する。
• 均一なネガティブサンプリングを意味的インフォームドなサンプリング戦略に置き換えることで、一般化性能と学習効率を向上させる。
• 事前学習済み表現を活用して、意味的類似度に基づく条件付きネガティブサンプリング分布を定義する手法を開発する。
• 意思決定境界付近に位置するより情報量の多い偽ネガティブサンプルを生成する、新しい潜在空間ミックスアップ技術を提案する。
• CIFAR-10、CIFAR-100、Tiny-ImageNet-200の標準的教師あり学習および知識蒸留設定において、一貫した性能向上を実証する。

提案手法

• 事前学習済み単語埋め込みとコサイン類似度を用いて、意味的に最も類似した上位k個のクラスに基づいてネガティブサンプリング分布を定義する。
• 事前学習ネットワークの特徴量間の類似度を計算し、上位k個の近傍インスタンスを選び、インスタンスレベルでのネガティブサンプリングを実行する。
• 潜在空間ミックスアップ（LM）を提案し、教師および生徒ネットワークの表現を潜在空間で補間することで、偽ネガティブサンプルを生成する。
• 生徒および教師ネットワークの混合表現間の距離または発散損失を最小化することで、表現の整合性を向上させる。
• 意味的類似度に条件づけられた条件付き確率分布を用いることで、ネガティブペairの数をO(N(N−N+))からO(Nk)に削減する。
• 訓練時におけるパrameterの追加なしに、SCNSおよびLMを既存の対照的学習および知識蒸留フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 意味的類似度に基づくネガティブサンプリングは、均一なサンプリングと比較して、対照的学習モデルの一般化性能を向上させることができるか？
• RQ2 インスタンスレベルの意味的類似度とクラスレベルの類似度のどちらが、効果的なネガティブサンプリングを導く上で優れているか？
• RQ3 潜在空間での補間によって、意思決定境界に近いより情報量の多い偽ネガティブサンプルを生成できるか？
• RQ4 SCNSおよび潜在空間ミックスアップは、標準的教師あり学習および知識蒸留設定において、どの程度の性能向上を達成できるか？
• RQ5 提案手法は、多様なデータセットおよびアーキテクチャにおいて、サンプル品質とモデル精度の向上を維持しながら、効率性を保っているか？

主な発見

• 意味的条件下ネガティブサンプリング（SCNS）は、標準的教師あり学習設定下で、CIFAR-10のさまざまなアーキテクチャにおいて平均して1.52パーセンテージポイントのテスト精度向上を達成する。
• Tiny-ImageNet-200では、教師なしで学習された生徒ネットワークと比較して、SCNSが生徒ネットワークの精度を4.56パーセンテージポイント向上させる。
• CIFAR-100では、教師なしで学習された生徒ネットワークと比較して、SCNSが生徒の性能を3.29パーセンテージポイント向上させる。
• Hintonら（2015）の強力なベースラインと比較すると、SCNSはTiny-ImageNet-200およびCIFAR-100でそれぞれ1.23および1.72パーセンテージポイントの精度向上を達成する。
• インスタンスレベルのSCNSは他のバリエーションを上回り、CIFAR-100の6つの生徒-教師設定のうち4つで最高の性能を達成する。
• β=0.5の潜在空間ミックスアップは、最高の精度向上を達成し、resnet14の生徒とwrn-40-1の教師を用いたTiny-ImageNet-200ではトップ1精度が71.43%に達する。