[論文レビュー] Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations

Mahmoud Assran, Nicolas Ballas+2 more|arXiv (Cornell University)|Jun 18, 2020

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文では、ノイズ対比推定（NCE）と近傍成分分析（NCA）を統合することで、自己教師あり対照学習の前処理段階で最小限のラベル付きデータを有効活用する半教師あり対照学習損失であるSuNCEtを提案する。訓練の初期段階でわずかな監督信号を組み込むことで、SuNCEtは収束を加速させ、従来の対照的手法よりも半分以下の前処理計算量で最先端のImageNet性能を達成できる。

ABSTRACT

We investigate a strategy for improving the efficiency of contrastive learning of visual representations by leveraging a small amount of supervised information during pre-training. We propose a semi-supervised loss, SuNCEt, based on noise-contrastive estimation and neighbourhood component analysis, that aims to distinguish examples of different classes in addition to the self-supervised instance-wise pretext tasks. On ImageNet, we find that SuNCEt can be used to match the semi-supervised learning accuracy of previous contrastive approaches while using less than half the amount of pre-training and compute. Our main insight is that leveraging even a small amount of labeled data during pre-training, and not only during fine-tuning, provides an important signal that can significantly accelerate contrastive learning of visual representations. Our code is available online at github.com/facebookresearch/suncet.

研究の動機と目的

• 視覚表現学習における対照的自己教師あり前処理の高い計算コストを軽減すること。
• 微調整段階だけでなく、前処理段階においてもわずかなラベル付きデータを統合することで、学習を加速できるかどうかを調査すること。
• ハイパーパramータのチューニングやメモリオーバーヘッドを増加させることなく、収束速度を向上させる新しい半教師あり損失を設計すること。
• 前処理計算量とデータ効率を削減しつつ、ImageNetで最先端の半教師あり精度を達成すること。

提案手法

• ノイズ対比推定（NCE）と近傍成分分析（NCA）を組み合わせた対照損失であるSuNCEtを提案し、前処理段階でクラス間表現を区別できるようにする。
• 前処理段階で小さなラベル付きサブセットを用いて対照的目的関数をガイドすることで、高品質な表現への収束を高速化する。
• 既存の対照的フレームワーク（例：SimCLR や SwAV）とSuNCEt損失を統合し、標準的なデータオーグメンテーションおよびエンコーダー構造と互換性を保つ。
• インスタンスごとの識別に正規化された温度調整付き交差エントロピー損失を用い、ポジティブペアは増幅されたビューから、ネガティブペアはバッチ内の他の画像から得る。
• 完全な埋め込みテンソルを保存するメモリオーバーヘッドを回避するため、完全なNCA計算ではなくNCEベースの推定に依存する。
• ラベル付き例を前処理段階でポジティブペアとして扱い、モデルが訓練の初期段階でクラスレベルの構造を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 前処理段階でわずかなラベル付きデータを統合することで、対照的表現学習の収束が著しく加速するか？
• RQ2 訓練パイプラインの初期段階で監督信号を統合することで、最終的な精度を維持または向上させつつ、必要な前処理計算量を削減できるか？
• RQ3 収束速度と最終的性能の観点から、SuNCEtは標準的な対照的損失や他の半教師あり手法と比較してどのように差をつけるか？
• RQ4 SuNCEtは、ハイパーパramータのチューニングなしに、既存の対照的フレームワーク（例：SimCLR や SwAV）と効果的に統合できるか？

主な発見

• SuNCEtは、従来の最先端の対照的手法と同等の半教師ありImageNetトップ5精度を達成しながら、前処理計算量とエポック数を半分以下に削減した。
• 10%のラベル付きデータを用いたImageNetでは、SuNCEtとSwAVを組み合わせた手法が最先端のトップ5精度を達成し、RandAugmentを用いたFixMatchを上回った。
• ハイパーパramータのチューニングが一切不要であり、さまざまなバッチサイズやデータオーグメンテーションにおいて一貫した性能を維持した。
• 前処理段階でわずかなラベル付きデータを統合するだけで、収束が著しく加速し、長時間の前処理の必要性が低下した。
• より大きなバッチサイズやアーキテクチャごとの正例数を増やすと、SuNCEtはベースラインの対照的手法を上回り、スケーラビリティの優位性を示した。