[論文レビュー] CAE v2: Context Autoencoder with CLIP Target

Xinyu Zhang, Jiahui Chen+11 more|arXiv (Cornell University)|Nov 17, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

CAE v2 は、マスクされたパッチの代わりに可視パッチで学習し、モデルサイズに応じたマスク率を用いることで、CLIPをターゲットとする自己教師付きビジョン事前学習で最先端の性能を達成する文脈自己オートエンコーダーを提案する。ViT-Large を用いた300エポックの事前学習後、線形プローブでは ImageNet-1K で 81.7% のトップ-1精度、ADE20K のセマンティックセグメンテーションでは 55.9% の mIoU を達成した。

ABSTRACT

Masked image modeling (MIM) learns visual representation by masking and reconstructing image patches. Applying the reconstruction supervision on the CLIP representation has been proven effective for MIM. However, it is still under-explored how CLIP supervision in MIM influences performance. To investigate strategies for refining the CLIP-targeted MIM, we study two critical elements in MIM, i.e., the supervision position and the mask ratio, and reveal two interesting perspectives, relying on our developed simple pipeline, context autodecoder with CLIP target (CAE v2). Firstly, we observe that the supervision on visible patches achieves remarkable performance, even better than that on masked patches, where the latter is the standard format in the existing MIM methods. Secondly, the optimal mask ratio positively correlates to the model size. That is to say, the smaller the model, the lower the mask ratio needs to be. Driven by these two discoveries, our simple and concise approach CAE v2 achieves superior performance on a series of downstream tasks. For example, a vanilla ViT-Large model achieves 81.7% and 86.7% top-1 accuracy on linear probing and fine-tuning on ImageNet-1K, and 55.9% mIoU on semantic segmentation on ADE20K with the pre-training for 300 epochs. We hope our findings can be helpful guidelines for the pre-training in the MIM area, especially for the small-scale models.

研究の動機と目的

• CLIP を監視ターゲットとして用いる際、マスク画像モデリング（MIM）における監視位置とマスク率の影響を調査すること。
• CLIPターゲットパラダイムに適合する、シンプルでありながら効果的な MIM フレームワークを開発すること。
• 特に小規模モデル向けの事前学習に関する実用的ガイドラインを提供すること。
• 可視パッチにおける特徴 distillation の影響と、最適なマスク率とモデルサイズとの関係を解明すること。

提案手法

• CAE v2 は、モデルサイズに正の相関を持つマスク率 γ を用いてマスク処理された可視画像パッチを処理するためのビジョントランスフォーマー Encoder を使用する。
• デコーダーは、符号化された可視特徴と学習されたマスクトークンから、マスクされたパッチを再構築する。
• モデルは可視パッチおよびマスクパッチの両方の潜在表現を予測し、それらを共通空間に投影する。
• 元の画像からの CLIP 特徴が監視ターゲットとして使用され、パッチ位置に応じて可視成分とマスク成分に分割される。
• 主な訓練損失は、可視パッチの予測とその対応する CLIP ターゲットにのみ適用され、マスクパッチの監視はオプションである。
• フレームワークは、可視パッチ予測に対する類似性に似た目的関数を用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 CLIP をターゲットとして用いる MIM において、マスクパッチではなく可視パッチに監視を適用することで性能が向上するか？
• RQ2 CLIP をターゲットとする MIM における最適なマスク率は、モデルサイズに応じてどのように変化するか？
• RQ3 可視パッチ監視と適応的マスク率を備えたシンプルな MIM パipelined が、既存手法を上回る性能を発揮できるか？
• RQ4 CLIP をターゲットとする MIM において、可視パッチとマスクパッチの監視の相対的寄与度はどの程度か？

主な発見

• CLIP 特徴を用いて可視パッチにのみ監視を適用すると、マスクパッチにのみ監視を適用する場合よりも高い性能が得られ、可視パッチが CLIP からの意味的知識を効果的に抽出していることが示された。
• 可視パッチとマスクパッチの両方に監視を適用しても、性能向上はわずかにしか得られず、可視パッチ監視が十分かつ非常に効果的であることが示された。
• 最適なマスク率はモデルサイズと正の相関関係にあり、小規模モデルでは低いマスク率が最適であり、大規模モデルでは高いマスク率が有利である。
• CAE v2 は、300エポックの事前学習後、ViT-Large バックボーンを用いて線形プローブで ImageNet-1K で 81.7% のトップ-1精度、微調整で 86.7% を達成した。
• ADE20K セマンティックセグメンテーションでは、同じ ViT-Large モデルと 300エポックの事前学習を用いて 55.9% の mIoU を達成した。
• COCO オブジェクト検出およびインスタンスセグメンテーションベンチマークにおいて、CAE v2 は iBOT や CAE よりも少ない事前学習エポック数で、先行の SOTA 手法を上回った。