[論文レビュー] Self-Damaging Contrastive Learning

Ziyu Jiang, Tianlong Chen+2 more|arXiv (Cornell University)|Jun 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 14

ひとこと要約

本稿では、自己損傷的対照学習（SDCLR）を提案する。これは、対照学習のための新たな教師なし表現学習フレームワークであり、ターゲットモデルを動的にプルーニングすることで「自己競合者」を生成し、長尾データに対する頑健性を向上させる。完全なモデルとプルーニング済みモデルの対照により、SDCLRは、学習が難しい長尾サンプルを暗黙的に特定・強調する。この手法により、フルショットおよびフェイシュート設定の線形評価において、全体的およびバランスの取れた精度が顕著に向上する。

ABSTRACT

The recent breakthrough achieved by contrastive learning accelerates the pace for deploying unsupervised training on real-world data applications. However, unlabeled data in reality is commonly imbalanced and shows a long-tail distribution, and it is unclear how robustly the latest contrastive learning methods could perform in the practical scenario. This paper proposes to explicitly tackle this challenge, via a principled framework called Self-Damaging Contrastive Learning (SDCLR), to automatically balance the representation learning without knowing the classes. Our main inspiration is drawn from the recent finding that deep models have difficult-to-memorize samples, and those may be exposed through network pruning. It is further natural to hypothesize that long-tail samples are also tougher for the model to learn well due to insufficient examples. Hence, the key innovation in SDCLR is to create a dynamic self-competitor model to contrast with the target model, which is a pruned version of the latter. During training, contrasting the two models will lead to adaptive online mining of the most easily forgotten samples for the current target model, and implicitly emphasize them more in the contrastive loss. Extensive experiments across multiple datasets and imbalance settings show that SDCLR significantly improves not only overall accuracies but also balancedness, in terms of linear evaluation on the full-shot and few-shot settings. Our code is available at: https://github.com/VITA-Group/SDCLR.

研究の動機と目的

• 実世界の応用において、長尾で不均衡なラベルなしデータに対して対照学習が脆弱である問題に対処すること。
• クラスに依存しない手法を構築し、クラス分布の事前知識を必要とせずに表現学習を自動でバランスさせる。
• 深層ネットワークがプルーニングによって長尾サンプルを忘れがちな記憶ダイナミクス——特に、その傾向を適応的サンプルマイニングの信号として活用すること。
• 長尾データ分割下での線形評価プロトコルにおいて、全体的およびバランスの取れた下流性能の両方を向上させること。

提案手法

• SDCLRは二本のブランチ構造を導入する：主なターゲットモデルと、トレーニング中にターゲットモデルから動的にプルーニングされた「自己競合者」モデル。
• 自己競合者は、ターゲットモデルの重みに対してマグニチュードベースのプルーニングにより生成され、オンラインで適用され、ターゲットモデルと同期して更新される。
• プルーニングされないパラメータについては重みを共有し、表現の多様性を保つためにバッチ正規化層は独立して維持される。
• 対照損失は、同じ入力に対してターゲットブランチと自己競合者ブランチの特徴表現の間で計算され、整合性を促進するとともに、プルーニングに最も影響を受けるサンプルを強調する。
• この手法により、プルーニングによって特徴が顕著に変化するサンプルが、長尾サンプルとして暗黙的に特定され、損失関数で高い注目度を獲得する。
• SDCLRは、SimCLRなどの標準的な対照学習パイプラインと互換性があり、データ分布の変更やクラス固有の損失重み付けの導入なしに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 モデルプルーニングを、教師なし・クラスに依存しない方法で、学習が難しい長尾サンプルを特定するための代理指標として使用できるか？
• RQ2 完全なモデルとプルーニング済みバージョンのモデルを対照することで、長尾データ分布における表現学習の頑健性が向上するか？
• RQ3 長尾設定下での線形分離性およびフェイシュート精度において、SDCLRは標準的な対照学習や他のベースラインと比較してどのように差をつけるか？
• RQ4 モデル容量と困難なサンプルの有効なマイニングのバランスを取る最適なプルーニング比は何か？

主な発見

• SDCLRは、長尾のCIFAR100スプリットにおいて線形評価精度を顕著に向上させ、48.23% ± 0.20% の線形分離性と24.68% ± 0.36% のフェイシュート精度を達成し、SimCLR や MocoV2 を上回る性能を示した。
• この手法により、高頻度クラスと低頻度クラスの性能ギャップが縮小され、マイノリティクラスのサンプルは、多くのクラスのサンプルと比較して、プルーニングによる特徴変化に3.5倍の影響を受けるようになった。
• アブレーションスタディの結果、プルーニング比には強いトレードオフがあることが判明した。性能は約90%のプルーニングでピークに達し、それ以上になるとモデル容量の損失により性能が低下した。
• 90%のランダムドロップアウトベースラインでは、フェイシュート精度がたった15.48% ± 0.42% にとどまり、構造的なプルーニングが効果的なサンプルマイニングに不可欠であることを確認した。
• Grad-CAMの可視化により、SDCLRはSimCLRよりも、テイルクラスの画像に対してより判別的な注目マップを学習していることが確認された。これは、クラス関連の特徟能力がよりよく局在化されていることを示している。
• スパarsなブランチでさえ、弱い状態であっても、密度の高いターゲットモデルの一般化性能を向上させ、共進化的学習の利点を示した。