[論文レビュー] Mutual Contrastive Learning for Visual Representation Learning

Chuanguang Yang, Zhulin An+2 more|arXiv (Cornell University)|Apr 26, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、相互対照学習（MCL）を提案する。MCLは、相互対照学習（ICL）を通じて複数のネットワーク間で相互知識移転を可能にする協調的フレームワークであり、視覚的表現学習を向上させる。ネットワーク間の相互情報の下界を最大化し、クロスネットワーク埋め込みからのソフト対照分布を用いることで、教師ありおよび自己教師あり学習ベンチマークにおいて一貫した精度向上を達成し、CIFAR-100では前人最高（SOTA）の手法を0.67%、ImageNetでは0.36%上回る。

ABSTRACT

We present a collaborative learning method called Mutual Contrastive Learning (MCL) for general visual representation learning. The core idea of MCL is to perform mutual interaction and transfer of contrastive distributions among a cohort of networks. A crucial component of MCL is Interactive Contrastive Learning (ICL). Compared with vanilla contrastive learning, ICL can aggregate cross-network embedding information and maximize the lower bound to the mutual information between two networks. This enables each network to learn extra contrastive knowledge from others, leading to better feature representations for visual recognition tasks. We emphasize that the resulting MCL is conceptually simple yet empirically powerful. It is a generic framework that can be applied to both supervised and self-supervised representation learning. Experimental results on image classification and transfer learning to object detection show that MCL can lead to consistent performance gains, demonstrating that MCL can guide the network to generate better feature representations. Code is available at https://github.com/winycg/MCL.

研究の動機と目的

• 単一ネットワークの対照学習の限界を解消し、複数のネットワーク間での協調的学習を可能にすること。
• 相互作用を通じてネットワーク間で対照的知識を移転させることで、特徴表現の質を向上させること。
• 教師ありおよび自己教師あり視覚的表現学習に適用可能な汎用的フレームワークを開発すること。
• ネットワーク間の対照分布がネットワーク内対照分布よりも情報量が多いことを示すこと。
• 相互対照的分布の模倣が、画像分類およびオブジェクト検出の下流タスク性能を向上させることを検証すること。

提案手法

• ヴァニラ対照学習（VCL）とインタラクティブ対照学習（ICL）を統合した包括的フレームワークとして、相互対照学習（MCL）を提案する。
• ICLを導入し、2つの異なるネットワークからの埋め込み間の対照的類似度分布を形成し、それらの間の相互情報の下界を最大化する。
• クロスネットワークのソフトマックスベース対照分布から導出されたソフトラベルを用いて、ペアネットワーク間の相互監視を可能にする。
• ネットワーク間の対照的分布を一致させることで、知識蒸留のためのソフトラベルとして扱う、相互模倣を適用する。
• ネットワーク内およびネットワーク間の両方の対照信号を活用する1つの学習目的にVCLとICLを統合する。
• モーメンタムエンコーダーを共有するネットワークのコhortを採用し、自己教師あり設定下での安定した学習と知識移転を実現する。

実験結果

リサーチクエスチョン

• RQ1 複数のネットワーク間での相互対照学習は、単一ネットワーク対照学習を上回る視覚的表現学習を実現できるか？
• RQ2 特徴表現の質という観点から、ネットワーク間対照分布集約はネットワーク内対照学習と比べてどのように異なるか？
• RQ3 対照的分布の相互模倣は、より良い一般化および下流タスク性能をもたらすか？
• RQ4 MCLが性能の飽和に達するための最適なネットワーク数は何か？
• RQ5 MCLは教師ありおよび自己教師あり表現学習の両方に対して効果的に適用可能か？

主な発見

• CIFAR-100では、複数のアーキテクチャで前人最高（SOTA）のMVCLを0.67%上回る平均精度向上を達成した。
• ImageNetでは、ベースラインのResNet-18精度を0.36%上回り、前人最高を更新した。
• 自己教師あり学習では、MoCoを0.59%、MoCoV2を0.46%向上させ、広範な適用可能性を示した。
• アブレーションスタディの結果、ICLおよびそのソフトラベルはVCLおよびそのソフトラベルよりも効果的であり、平均0.64%の精度向上を達成した。
• CIFAR-100ではM=5ネットワークで性能が飽和し、5つを超えると利得が減少することが示された。
• T-SNE可視化では、MCLがネットワーク間でより識別的で類似した埋め込み空間を生成しており、効果的な知識移転が行われていることが示された。