[論文レビュー] Momentum Contrast for Unsupervised Visual Representation Learning

Kaiming He, Haoqi Fan+3 more|arXiv (Cornell University)|Nov 13, 2019

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 1,008

ひとこと要約

MoCoは、キューベースの動的辞書とモメンタム更新されたキーエンコーダを導入し、教師なし視覚表現のための大規模で一貫したコントラスト学習を可能にする。 ImageNet線形精度は競争力があり、検出・分割タスクへの転移も強く、複数の設定で教師あり事前学習を上回っている。

ABSTRACT

We present Momentum Contrast (MoCo) for unsupervised visual representation learning. From a perspective on contrastive learning as dictionary look-up, we build a dynamic dictionary with a queue and a moving-averaged encoder. This enables building a large and consistent dictionary on-the-fly that facilitates contrastive unsupervised learning. MoCo provides competitive results under the common linear protocol on ImageNet classification. More importantly, the representations learned by MoCo transfer well to downstream tasks. MoCo can outperform its supervised pre-training counterpart in 7 detection/segmentation tasks on PASCAL VOC, COCO, and other datasets, sometimes surpassing it by large margins. This suggests that the gap between unsupervised and supervised representation learning has been largely closed in many vision tasks.

研究の動機と目的

• 教師なしの視覚表現学習を、効果的な辞書のような対照学習として動機づける。
• 訓練中に一貫性を保つ大規模で進化する辞書を構築する仕組みを開発する。
• モーメンタム更新されたエンコーダがコントラスト学習の安定したキーを維持できることを示す。
• MoCoによる教師なし事前学習が下流の視覚タスクへ良く転移することを示す。
• データ規模と辞書設計が教師なし学習性能にどのように影響するかを調べる。

提案手法

• コントラスト学習を、クエリとキーの集合を用いた辞書照合として扱う。
• 辞書をミニバッチサイズと分離したキューとして維持し、巨大な辞書を可能にする。
• 訓練を通じてキーを一貫させるため、キーエンコーダにモメンタム更新を用いる: θ_k ← m θ_k + (1 − m) θ_q.
• 同一画像の2つのランダムビューを陽性ペアとして、他のキーをネガティブとし、InfoNCE損失を用いる。
• 情報漏洩を防ぎ、表現品質を向上させるため、訓練時のシャッフルを伴うバッチ正規化を適用する。
• スケーラビリティと実世界データ適用性を検証するために、任意でImageNet-1Mまたは十億規模のInstagram画像で事前学習を行う。

実験結果

リサーチクエスチョン

• RQ1 大規模で動的に更新される辞書は、対照的な教師なし学習の性能を改善できるか。
• RQ2 モーメンタム更新されたキーエンコーダは、エンドツーエンドやメモリバンク手法よりキーの一貫性を高めるか。
• RQ3 MoCoによる教師なし事前学習は、ImageNetの教師あり事前学習とImageNetおよび下流の検出・分割タスクでどのように比較されるか。
• RQ4 データ規模（ImageNet-1M vs IG-1B）がMoCo表現の転移性能に与える影響はどのようなものか。

主な発見

• MoCoは標準プロトコルの下で競争力のあるImageNet線形分類精度を達成する。
• キューを介した大規模辞書とモメンタム更新キーエンコーダの組み合わせは、特徴の一貫性と学習の安定性を高める。
• 同等の転移プロトコルの下で、MoCoの事前学習はPASCAL VOC、COCOなどのいくつかの検出・分割タスクでImageNetの教師あり事前学習を上回る。
• MoCoは十億規模の未整形データ（IG-1B）にもよくスケールし、転移性能を維持する。
• モーメンタム（mがほぼ0.999に近い）は辞書の一貫性と学習成功のために不可欠であり、小さすぎるmは性能を低下させる。