[論文レビュー] Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning

Kento Nozawa, Issei Sato|arXiv (Cornell University)|Feb 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 72被引用数 14

ひとこと要約

本論文は、インスタンス判別型自己教師あり学習におけるパラドックスを解消する。負例を増やすと実務的には下流性能が向上するが、理論的には劣化すると予想されるという矛盾である。本論文は、コインコレクター問題を用いた新しい理論枠組みを提案し、負例を増やすことで自己教師あり目的関数に下流の教師あり損失が暗黙的に組み込まれることを示し、CIFAR-100およびAGNewsデータセットにおける線形評価精度の向上と一般化性能の向上をもたらす。

ABSTRACT

Instance discriminative self-supervised representation learning has been attracted attention thanks to its unsupervised nature and informative feature representation for downstream tasks. In practice, it commonly uses a larger number of negative samples than the number of supervised classes. However, there is an inconsistency in the existing analysis; theoretically, a large number of negative samples degrade classification performance on a downstream supervised task, while empirically, they improve the performance. We provide a novel framework to analyze this empirical result regarding negative samples using the coupon collector's problem. Our bound can implicitly incorporate the supervised loss of the downstream task in the self-supervised loss by increasing the number of negative samples. We confirm that our proposed analysis holds on real-world benchmark datasets.

研究の動機と目的

• インスタンス判別型自己教師あり学習における理論的分析と実務的観察の不一致を解消すること。具体的には、負例を増やすと理論的境界は劣化すると予想されるが、実務的には性能が向上するという点である。
• 負例の数を増やすことで下流分類精度が向上する理由を説明する新しい理論枠組みを構築すること。
• コインコレクター問題から導出された新しい境界を用いて、自己教師あり損失と下流の教師あり損失を正式に結びつけること。
• CIFAR-100およびAGNewsを含む実世界の視覚および自然言語処理ベンチマークデータセットを用いて、提案された分析を検証すること。

提案手法

• コインコレクター問題を用いて、すべての固有インスタンスをサンプリングする確率をモデル化し、教師あり損失の新しい下界を提案する。
• 負例の数が増加しても安定し、発散しない理論的境界（式 10）を導出する。これは、従来の境界とは異なり、急激に増大して無意味な境界（vacuous）にならない。
• 繰り返し出現する表現の確率を捉える「衝突項」（式 7）を導入する。これは一般化誤差を抑え込むために重要である。
• 負例を増やすことで、自己教師ありのInfoNCE損失が下流タスクの不変性に向けた表現空間の正則化を暗黙的に実現することを示し、自己教師あり損失と下流教師あり損失の関係を確立する。
• 視覚（CIFAR-100）および自然言語処理（AGNews）の両データセットに対して線形評価プロトコルを用い、理論的主張を実験的結果で検証する。
• テキスト実験には変更を加えたfastTextモデルを用い、事前学習された埋め込みから類似語への語の置換によるデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり表現学習において、負例の数を増やすと下流分類精度が実務的に向上するが、理論的には性能劣化が予想されるという理由は何か？
• RQ2 対照的自己教師あり学習において、負例の数を増やす実務的成功を説明する理論枠組みを構築できるか？
• RQ3 コインコレクター問題は、自己教師あり学習におけるインスタンス識別における一般化行動とどのように関係するか？
• RQ4 負例の数を増やすことで、自己教師あり目的関数に下流の教師あり損失がどの程度暗黙的に組み込まれるか？

主な発見

• 提案された境界（式 10）は、負例の数が増えても安定しており、発散しない。これに対して、従来のCURLに基づく境界（式 8）は急激に増大し、無意味な境界（vacuous）となる。
• CIFAR-100では、負例の数を16から512に増やすと、線形評価精度が75.3%から76.5%に上昇し、提案された境界がこの傾向を正確に反映していた。
• AGNewsでは、負例の数を増やすと線形精度が88.74%から90.12%に上昇し、提案された境界は発散せずに単調に改善した。
• 衝突項（式 7）は常に負であり、負例が増えるにつれて減少し、より優れた表現の多様性と冗長性の低減を示していた。
• 提案された境界による教師あり損失の上界（式 11）は、負例の数が増えるにつれて徐々に増加し、観察された性能向上と整合的であった。
• 提案された分析により、大規模な負例を用いる手法（例：SimCLR や MoCo）の実務的成功を、暗黙の教師信号へのリンクによってうまく説明できた。