[論文レビュー] EqCo: Equivalent Rules for Self-supervised Contrastive Learning

Benjin Zhu, Junqiang Huang+3 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 4

ひとこと要約

EqCoは、負例の数に応じてInfoNCE損失のマージン項を動的にスケーリングする理論的裏付けのある手法を提案し、1クエリあたりたった16個の負例でも高い性能を達成できるようにすることで、対照的自己教師あり学習の安定化を実現する。これにより、大規模バッチ学習やメモリバンクの必要性が不要となり、1クエリあたり16個の負例を使用するだけでMoCo v2と同等のImageNet線形評価精度を達成する。

ABSTRACT

In this paper, we propose EqCo (Equivalent Rules for Contrastive Learning) to make self-supervised learning irrelevant to the number of negative samples in the contrastive learning framework. Inspired by the InfoMax principle, we point that the margin term in contrastive loss needs to be adaptively scaled according to the number of negative pairs in order to keep steady mutual information bound and gradient magnitude. EqCo bridges the performance gap among a wide range of negative sample sizes, so that for the first time, we can use only a few negative pairs (e.g., 16 per query) to perform self-supervised contrastive training on large-scale vision datasets like ImageNet, while with almost no accuracy drop. This is quite a contrast to the widely used large batch training or memory bank mechanism in current practices. Equipped with EqCo, our simplified MoCo (SiMo) achieves comparable accuracy with MoCov2 on ImageNet (linear evaluation protocol) while only involves 16 negative pairs per query instead of 65536, suggesting that large quantities of negative samples is not a critical factor in contrastive learning frameworks.

研究の動機と目的

• 対照的自己教師あり学習において、大量の負例が不可欠であるかどうかについて、経験的・理論的不確実性を解消すること。
• 負例数が変化する際の相互情報量の下界と勾配の大きさを安定化させること。
• 特にKが小さい場合に、さまざまな負例数に対して一貫した性能を維持する手法を開発すること。
• 損失関数が適切にキャリブレーションされている場合、大規模な負例サンプリングが対照的学習において必須要因ではないことを示すこと。
• 対照的表現学習における大規模バッチ学習やメモリバンク機構に対する理論的裏付けのある代替手法を提供すること。

提案手法

• 負例数Kに応じてInfoNCE損失のマージン項を動的にスケーリングする同等のルールを導入し、相互情報量の下界が安定するように保証する。
• 異なるK値におけるInfoNCE損失が相互情報量推定において同等となる条件（式5）を導出する。
• マージン項を学習可能なハイパーパrameter αを介して適応的に調整する新しい損失形式を提案し、これにより有効な負例数が制御可能になる。
• 温度スケーリングされた対照的損失に適応的マージンを組み込み、さまざまなK値において一貫した勾配の大きさを維持する。
• 相関ガウス変数を用いたトイラミル推定タスクを通じて、EqCoがKに依存せずに安定したMI推定を達成することを検証する。
• EqCoを簡略化されたMoCoの変種（SiMo）に適用し、大規模バッチのメモリバンクをK=16の小さなバッチに置き換え、ImageNetで学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習における負例数の増加による性能向上は、本質的に相互情報量推定の向上に起因するものか、それとも勾配の大きさの不均衡に起因するアーチファクトか？
• RQ2 適切な損失キャリブレーションにより、負例数Kが異なる場合でも、対照的学習における相互情報量の下界を安定化させることは可能か？
• RQ3 対照的学習における大規模バッチ学習やメモリバンクの必要性は、マージン項のスケーリングが不適切であることに起因するものか、それとも負例の数に起因するものか？
• RQ4 損失関数が適切にキャリブレーションされている場合、K=16などの少数の負例でも、K=65536などの大規模バッチ手法と同等の性能を達成できるか？
• RQ5 適応的マージンを備えたInfoNCE損失（EqCo）は、MoCoを越える他の対照的学習フレームワークにも一般化可能か？

主な発見

• EqCoは、Kの値にかかわらず相互情報量の下界と勾配の大きさを安定化させ、対照的損失が負例数に依存しない不変性を実現する。
• ImageNet線形評価プロトコルにおいて、1クエリあたり16個の負例ペアを使用するSiMoにEqCoを適用した場合、トップ1精度71.8%を達成し、65,536個の負例を使用するMoCo v2と同等の性能を示す。
• トイラミルMI推定タスクにおいて、EqCoはすべてのK値において真値に近いMI推定を一貫して行う一方、標準的なInfoNCEはMIを低く推定し、Kが増加するにつれて偏りが増大する。
• K ≤ 16の場合、MoCo v2はEqCoを適用しても著しく性能が低下するため、モデルアーキテクチャや学習ダイナミクスもこの手法の有効性に影響を与えることが示唆される。
• EqCoを用いる場合、Kを256から65536に増加させても性能向上は限界に達し、効果の逓減が見られる。
• EqCoにより、計算コストとメモリ使用量を大幅に削減した簡素化されたMoCoの変種（SiMo）が、MoCo v2の性能を再現可能となる。