[論文レビュー] Improving Contrastive Learning by Visualizing Feature Transformation

Rui Zhu, Bingchen Zhao+3 more|arXiv (Cornell University)|Aug 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 4

ひとこと要約

本論文は、外挿を用いたより難しい陽性ペアの生成と内挿を用いた多様な陰性ペアの生成により、対照的自己教師あり学習を向上させるための新しい特徴変換（FT）手法を提案する。視覚化可能なスコア分布分析ツールを用いて可視化された。この手法により、MoCoに対してImageNet-100で6.0%、MoCoV2に対してImageNet-1Kで2.1%の精度向上を達成し、検出やセグメンテーションなどの下流タスクにおいても一貫した向上が得られた。

ABSTRACT

Contrastive learning, which aims at minimizing the distance between positive pairs while maximizing that of negative ones, has been widely and successfully applied in unsupervised feature learning, where the design of positive and negative (pos/neg) pairs is one of its keys. In this paper, we attempt to devise a feature-level data manipulation, differing from data augmentation, to enhance the generic contrastive self-supervised learning. To this end, we first design a visualization scheme for pos/neg score (Pos/neg score indicates cosine similarity of pos/neg pair.) distribution, which enables us to analyze, interpret and understand the learning process. To our knowledge, this is the first attempt of its kind. More importantly, leveraging this tool, we gain some significant observations, which inspire our novel Feature Transformation proposals including the extrapolation of positives. This operation creates harder positives to boost the learning because hard positives enable the model to be more view-invariant. Besides, we propose the interpolation among negatives, which provides diversified negatives and makes the model more discriminative. It is the first attempt to deal with both challenges simultaneously. Experiment results show that our proposed Feature Transformation can improve at least 6.0% accuracy on ImageNet-100 over MoCo baseline, and about 2.0% accuracy on ImageNet-1K over the MoCoV2 baseline. Transferring to the downstream tasks successfully demonstrate our model is less task-bias. Visualization tools and codes https://github.com/DTennant/CL-Visualizing-Feature-Transformation .

研究の動機と目的

• 対照的学習の訓練中に陽性および陰性ペアのスコア分布を分析するための視覚化ツールの開発。
• モデルの挙動と表現品質に関する洞察を明らかにするスコア分布の主要なパターンの同定。
• 従来のデータ拡張を超えて、対照的学習性能を向上させる特徴レベルのデータ操作（特徴変換）の設計。
• より視覚不変で判別力のある表現を生成することで、事前学習モデルにおけるタスクバイアスの低減。
• 提案手法の汎用性と頑健性を、複数の対照的学習フレームワークおよび下流タスクにおいて示すこと。

提案手法

• 訓練中に陽性および陰性ペアのコサイン類似度（陽性/陰性スコア）分布を追跡・分析するための視覚化スキームを導入。
• 陽性ペアの視覚的ばらつきを増加させるために、陽性外挿を提案。これにより、視覚不変性を促進する「より難しい」陽性ペアが生成される。
• 陰性特徴間の内挿を導入し、多様化された陰性サンプルを生成することで、判別能力を向上。
• 追加のデータ拡張や再正規化を必要とせず、特徴空間上で直接特徴変換を適用。
• ハイパーパrameter α_in および α_ex を用いた学習可能で混合戦略を採用し、内挿および外挿の強度を制御。
• 変換後の ℓ₂ 正規化が性能にほとんど影響しないが、単位球面上での一貫性を保つために推奨される。

実験結果

リサーチクエスチョン

• RQ1 対照的学習の過程で、陽性および陰性ペアのスコア分布はどのように変化するのか。また、それらはモデル最適化に関するどのような洞察を明らかにするか？
• RQ2 外挿や内挿といった特徴レベルの操作は、データ拡張よりも対照的学習をより効果的に向上させることができるか？
• RQ3 より難しい陽性ペアと多様化された陰性ペアを生成することで、下流タスクにおける一般化性能の向上とタスクバイアスの低減が達成できるか？
• RQ4 提案された特徴変換は、異なる対照的学習アーキテクチャおよびデータセットにどの程度一般化可能か？
• RQ5 視覚化ツールは、効果的な特徴変換の設計を支援する診断ツールとして機能できるか？

主な発見

• 視覚化ツールにより、小さな陽性スコア（高い視覚的ばらつきを示す）が、より良い収束と高い精度と相関していることが明らかになった。これにより、より難しい陽性ペアの設計が動機づけられた。
• 陽性外挿により、視覚的ばらつきが増加し、陽性類似度が低下した。アブレーションスタディでは、ImageNet-100で1.7%の精度向上（71.1%から72.8%）が達成された。
• 提案された特徴変換により、MoCoはImageNet-100で6.0%、MoCoV2はImageNet-1Kで2.1%の精度向上を達成し、顕著な性能向上が示された。
• 下流タスクでは一貫した向上が得られた：iNaturalist2018で+1.7%、CUB-200で+0.9%、FGVC-aircraftで+1.1%の向上（MoCoおよびMoCo-V2ベースライン比）。
• 物体検出およびインスタンスセグメンテーションにおいて、DetCo や InsLoc といったタスク特化型モデルを上回ったことから、タスクバイアスの低減が示された。
• 特徴変換はMoCo、SimCLR、InfoMin、SWAV、SimSiamなど複数の対照的モデルにわたって頑健かつ有効であり、ImageNet-100では0.7%から5.77%の向上を達成した。