[論文レビュー] Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning

Yifan Zhang, Bryan Hooi+3 more|arXiv (Cornell University)|Feb 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 78被引用数 29

ひとこと要約

本研究は Core-tuning を提案する。コントラスト規正済みのファインチューニング手法で、ハードペアマイニングと焦点対比損失を用い、下流の分類とセマンティックセグメンテーションの性能を向上させる対照的自己教師型視覚モデルに適用する。

ABSTRACT

Contrastive self-supervised learning (CSL) has attracted increasing attention for model pre-training via unlabeled data. The resulted CSL models provide instance-discriminative visual features that are uniformly scattered in the feature space. During deployment, the common practice is to directly fine-tune CSL models with cross-entropy, which however may not be the best strategy in practice. Although cross-entropy tends to separate inter-class features, the resulting models still have limited capability for reducing intra-class feature scattering that exists in CSL models. In this paper, we investigate whether applying contrastive learning to fine-tuning would bring further benefits, and analytically find that optimizing the contrastive loss benefits both discriminative representation learning and model optimization during fine-tuning. Inspired by these findings, we propose Contrast-regularized tuning (Core-tuning), a new approach for fine-tuning CSL models. Instead of simply adding the contrastive loss to the objective of fine-tuning, Core-tuning further applies a novel hard pair mining strategy for more effective contrastive fine-tuning, as well as smoothing the decision boundary to better exploit the learned discriminative feature space. Extensive experiments on image classification and semantic segmentation verify the effectiveness of Core-tuning.

研究の動機と目的

• 動機: コントラスト学習に基づく自己教師付き学習(CSL)モデルのファインチューニングを改善し、区別可能な特徴空間をより活用できるようにする。
• ファインチューニング中のコントラスト損失が正則化と最適化上の利点をもたらすことを示す。
• 難易度の高いサンプルマイニングと滑らかな分類器学習を備えた Core-tuning を開発し、下流性能を向上させる。
• 画像分類とセマンティックセグメンテーションの両分野での有効性、さらにはドメイン一般化とロバスト性の側面を示す。

提案手法

• 表現学習を正則化しファインチューニングを最適化するコントラスト損失の理論分析（定理1と定理2）。
• 各アンカーに対して hard positive と hard negative の対を作るための hardness-directed mixup を備えた Core-tuning の導入。
• ファインチューニング中に hard positive により大きな重みを与える焦点対比損失の利用。
• 損失の再重み付けのために正規化された対比特徴を得るための射影ヘッド G_c。
• スムーズな分類器を学習させるために Mixup ベースのデータ拡張と cross-entropy および焦点対比損失を組み合わせる。
• 学習目的: L_ce^m + eta * L_con^f を最小化し、一般化を高めるための混合ベースの分類器訓練を追加。

実験結果

リサーチクエスチョン

• RQ1 コントラスト学習を CSL モデルのファインチューニングへ適用することで、標準のクロスエントロピーファインチューニングと比較して下流性能を改善できるか。
• RQ2 ハードサンプルマイニングと分類器の滑らかさを、コントラスト性の高いファインチューニングの恩恵を最大化するようにどう統合できるか。
• RQ3 Core-tuning は CSL モデルのドメイン一般化と敵対的ロバスト性を改善するか。
• RQ4 提案手法は、アーキテクチャ、事前学習法、セマンティックセグメンテーションなどの下流タスクに対して一般化可能か。

主な発見

• Core-tuning は CE-tuning および他のベースラインに比べて複数のデータセットにおいてファインチューニング性能を大幅に向上させる。
• アブレーションにより、各成分（ハードペアマイニング、焦点損失、ミックスアップベースの混合、および滑らかな分類器学習）が利益に寄与することが示される。
• Core-tuning は MoCo-v2 事前学習済み ResNet-50 を用いた 9 つの自然画像データセットで平均 top-1 精度が高く、CE-tuning や他のベースラインを上回る。
• CSL 事前学習バックボーンからファインチューニングした場合、PASCAL VOC でのセマンティックセグメンテーションの性能も向上。
• Core-tuning は PACS、VLCS、Office-Home データセットでの異なるドメイン間一般化をより良く示し、敵対的学習設定でのロバスト性も示す（敵対的トレーニングの結果が言及されている）。