[論文レビュー] ImCLR: Implicit Contrastive Learning for Image Classification

John Chen, Samarth Sinha+1 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 4

ひとこと要約

ImCLRは、損失関数、ハイパーパramータ、アーキテクチャを変更せずに、深層ネットワークが類似画像と類似しない画像を暗黙的に区別するのを学習できる、革新的な暗黙的対照学習フレームワークを提案する。この手法は、教師あり、半教師あり、耐性性能のベンチマークにおいて、SOTA（最先端）の性能向上を達成しており、Tiny ImageNetでは3.24%の精度向上、Πモデルの半教師ありベンチマークでは2.16%の向上を達成している。

ABSTRACT

Contrastive learning is an effective method for learning visual representations. In most cases, this involves adding an explicit loss function to encourage similar images to have similar representations, and different images to have different representations. In this paper, we introduce a clever construction for Implicit Contrastive Learning (ImCLR), primarily in the supervised setting: there, the network can implicitly learn to differentiate between similar and dissimilar images. Furthermore, this requires almost no change to existing pipelines, which allows for easy integration and for fair demonstration of effectiveness on a wide range of well-accepted benchmarks. Namely, there is no change to loss, no change to hyperparameters, and no change to general network architecture. We show that ImCLR improves the test error in the supervised setting across a variety of settings, including 3.24% on Tiny ImageNet, 1.30% on CIFAR-100, 0.14% on CIFAR-10, and 2.28% on STL-10. We show that this holds across different number of labeled samples, maintaining approximately a 2% gap in test accuracy down to using only 5\% of the whole dataset. We further show that gains hold for robustness to common input corruptions and perturbations at varying severities with a 0.72% improvement on CIFAR-100-C, and in the semi-supervised setting with a 2.16% improvement with the standard benchmark Π-model. We demonstrate that ImCLR is complementary to existing data augmentation techniques, achieving over 1% improvement on CIFAR-100 by combining ImCLR with CutMix over either baseline, and 2\% by combining ImCLR with AutoAugment over either baseline. Finally, we perform an ablation study.

研究の動機と目的

• 既存のトレーニングパイプラインを変更せずに、視覚的表現学習を向上させる対照学習手法を開発すること。
• 教師あり学習において、モデルが類似画像と類似しない画像を暗黙的に区別する能力を学習できることを実現すること。
• 低データ環境、入力の不具合や摑みにくさに対する耐性、半教師あり設定においても性能向上を維持すること。
• CutMix や AutoAugment などの既存のデータオーグメンテーション技術と互換性があり、補完的であることを保証すること。

提案手法

• ImCLRは、明示的な対照的損失を用いずに、特徴空間のダイナミクスを変更することで、暗黙的に対照学習を促進する新しいトレーニング目的を導入する。
• この手法は、バックプロパゲーション中にネットワークの内部最適化プロセスを活用し、陽にペアを整列させたり、分離させたりするのを暗黙的に実現する。
• 損失関数、ハイパーパramータ、ネットワークアーキテクチャに一切変更を加えていない。唯一、最適化プロセスの暗黙的なインダクティブバイアスのみが変更されている。
• 標準的な教師あり学習と互換性があり、既存のディープラーニングパイプラインにスムーズに統合可能である。
• 明示的な対照的目的なしに、勾配更新を通じてネットワークの暗黙的な能力によって対照的表現を学習する。
• このフレームワークは、プラグアンドプレイ設計となっており、アーキテクチャやトレーニングパイプラインの変更が不要である。

実験結果

リサーチクエスチョン

• RQ1 損失関数やハイパーパramータを変更せずに、暗黙的対照学習が教師あり画像分類の精度を向上させられるか？
• RQ2 トレーニングデータの5%しか使用しないような低データ環境下で、ImCLRはどのように性能を発揮するか？
• RQ3 ImCLRは、画像分類における一般的な入力の不具合や摑みにくさに対して耐性を高めるか？
• RQ4 CutMix や AutoAugment などの既存のデータオーグメンテーション戦略と効果的に組み合わせられるか？
• RQ5 ImCLRは、Πモデルベンチマークのような半教師あり学習設定にも一般化可能か？

主な発見

• 標準的な教師あり学習と比較して、ImCLRはTiny ImageNetでテスト精度に3.24%の向上を達成した。
• CIFAR-100では、トレーニングパイプラインに一切変更を加えずに、テスト精度が1.30%向上した。
• トレーニングデータの5%しか使用しない状況でも、ImCLRはベースラインモデルに対して約2%の精度優位性を維持した。
• CIFAR-100-Cでは、不具合に対する耐性が0.72%向上し、分布シフト下での一般化性能が向上した。
• 半教師あり設定では、標準的なΠモデルベンチマークで性能が2.16%向上した。
• CutMix や AutoAugment と組み合わせた場合、CIFAR-100ではそれぞれ1%以上、2%以上の精度向上を達成し、強力な補完性を示した。