[論文レビュー] Contrastive Masked Autoencoders are Stronger Vision Learners

Zhicheng Huang, Xiaojie Jin+6 more|arXiv (Cornell University)|Jul 27, 2022

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 8

ひとこと要約

本稿では、モーメンタムエンコーダーと特徴デコーダーを備えたシアンズ型エンコーダーデコーダー・アーキテクチャを通じて、マスクド・イメージモデリング（MIM）とコントラスト学習（CL）を統合する自己教師型視覚事前学習フレームワーク、対照的マスクドオートエンコーダー（CMAE）を提案する。CMAEは、ImageNet-1kで85.3%のトップ-1精度、ADE20kで52.5%のmIoUを達成し、それぞれ前人最高記録を0.7%および1.8%上回る最先端の性能を発揮する。

ABSTRACT

Masked image modeling (MIM) has achieved promising results on various vision tasks. However, the limited discriminability of learned representation manifests there is still plenty to go for making a stronger vision learner. Towards this goal, we propose Contrastive Masked Autoencoders (CMAE), a new self-supervised pre-training method for learning more comprehensive and capable vision representations. By elaboratively unifying contrastive learning (CL) and masked image model (MIM) through novel designs, CMAE leverages their respective advantages and learns representations with both strong instance discriminability and local perceptibility. Specifically, CMAE consists of two branches where the online branch is an asymmetric encoder-decoder and the momentum branch is a momentum updated encoder. During training, the online encoder reconstructs original images from latent representations of masked images to learn holistic features. The momentum encoder, fed with the full images, enhances the feature discriminability via contrastive learning with its online counterpart. To make CL compatible with MIM, CMAE introduces two new components, i.e. pixel shifting for generating plausible positive views and feature decoder for complementing features of contrastive pairs. Thanks to these novel designs, CMAE effectively improves the representation quality and transfer performance over its MIM counterpart. CMAE achieves the state-of-the-art performance on highly competitive benchmarks of image classification, semantic segmentation and object detection. Notably, CMAE-Base achieves $85.3\%$ top-1 accuracy on ImageNet and $52.5\%$ mIoU on ADE20k, surpassing previous best results by $0.7\%$ and $1.8\%$ respectively. The source code is publicly accessible at \url{https://github.com/ZhichengHuang/CMAE}.

研究の動機と目的

• マスクド・イメージモデリング（MIM）の表現における限界的な識別能を是正し、下流の視覚タスクにおける性能を向上させること。
• コントラスト学習（CL）がMIMと効果的に統合可能であるかを検討し、特徴品質とインスタンス識別能を向上させること。
• MIM（局所的知覚性）の長所とCL（インスタンス識別能）の長所を損なわず、両者を調和的に統合する統一フレームワークを設計すること。
• より良い事前学習により、画像分類、セマンティックセグメンテーション、オブジェクト検出のタスク間での転移性能を向上させること。

提案手法

• CMAEは、マスク画像再構築のためのオンライン非対称エンコーダーデコーダーブランチと、コントラスト学習の監視を提供するモーメンタム更新エンコーダーブランチを備えたシアンズ型アーキテクチャを採用する。
• オンラインブランチに新規の特徴デコーダーを導入し、マスクされたトークン特徴を再構築することで、不完全な表現から意味のあるコントラスト学習を可能にする。
• ピクセルシフト増幅を適用して、コントラスト学習のための妥当なポジティブビューを生成し、空間的一致性を確保するとともに、MIMと互換性を保つ。
• モーメンタムエンコーダーは完全な画像を処理し、意味的に整合性のある特徴を生成することで、オンラインエンコーダーをガイドし、特徴の識別能を向上させる。
• フレームワークは、マスク再構築損失とコントラスト損失を同時に最適化し、異なるビュー間の特徴をアライメントさせ、表現品質を向上させる。
• この手法はViTアーキテクチャ（スモール、ベース、ラージ）にスケーラブルであり、モデルサイズにかかわらずMAEを上回る一貫した性能向上を示している。

実験結果

リサーチクエスチョン

• RQ1 コントラスト学習をマスクド・イメージモデリングに効果的に統合することで、表現品質を向上させることができるか？
• RQ2 MIMにおける入力増幅と特徴アライメントの違いを考慮すると、コントラスト学習はMIMの再構築目的とどのように適合できるか？
• RQ3 MIMとCLを統合することで、視覚ベンチマークにおける下流タスクの転移性能が向上するか？
• RQ4 コントラスト学習がMIMの目的を損なわず、むしろ強化するためには、どのようなアーキテクチャ的・増幅的設計が必要か？

主な発見

• CMAE-BaseはImageNet-1kで85.3%のトップ-1精度を達成し、前人最高記録を0.7%上回った。
• ADE20kセマンティックセグメンテーションベンチマークでは、CMAE-Baseが52.5%のmIoUを達成し、前回最高記録を1.8%上回った。
• COCOにおけるオブジェクト検出では、CMAE-Baseが45.7%のAPを達成し、密度予測タスクへの優れた一般化能力を示した。
• 部分的微調整条件下では、CMAEは1つのトランスフォーマーブロックのみを微調整する場合、MoCo-V3を3.8%上回る性能を発揮した。
• 線形プローブ評価では、MAEを5.9%上回った。これは、評価プロトコルにかかわらず、表現品質が向上していることを確認する。
• 特徴分析の結果、CMAEはよりコンパクトなクラス内クラスタと、より大きく一様なクラス間距離を学習しており、優れた識別能を示していることが確認された。