[論文レビュー] Architecture-Agnostic Masked Image Modeling -- From ViT back to CNN

Siyuan Li, Di Wu+3 more|arXiv (Cornell University)|May 27, 2022

Advanced Neural Network Applications被引用数 16

ひとこと要約

本稿では、アーキテクチャに依存しないマスク画像モデリングフレームワークA²MIMを提案する。この手法は、ビジョントランスフォーマーと畳み込みニューラルネットワーク（CNN）の両方における自己教師付き表現学習の向上を目的として、中間順位のパッチ相互作用を強化する。入力パッチではなく中間特徴マップにマスクトークンを適用し、フーリエドメイン損失を導入することで、ImageNet-1Kおよび下流タスクで最先端の性能を達成。ViT特有の設計を用いずに、対照的学習や先行するMIM手法を凌駕する。

ABSTRACT

Masked image modeling, an emerging self-supervised pre-training method, has shown impressive success across numerous downstream vision tasks with Vision transformers. Its underlying idea is simple: a portion of the input image is masked out and then reconstructed via a pre-text task. However, the working principle behind MIM is not well explained, and previous studies insist that MIM primarily works for the Transformer family but is incompatible with CNNs. In this work, we observe that MIM essentially teaches the model to learn better middle-order interactions among patches for more generalized feature extraction. We then propose an Architecture-Agnostic Masked Image Modeling framework (A$^2$MIM), which is compatible with both Transformers and CNNs in a unified way. Extensive experiments on popular benchmarks show that A$^2$MIM learns better representations without explicit design and endows the backbone model with the stronger capability to transfer to various downstream tasks.

研究の動機と目的

• マスク画像モデリング（MIM）の背後にあるメカニズムを、再構成品質を超えて解明すること。
• 従来、ViTに限定されていたMIMの応用を制限していた、トランスフォーマーとCNNの間でのMIM性能格差を是正すること。
• CNNとトランスフォーマーの両方において中間順位の相互作用を強化できる、統一的かつアーキテクチャに依存しないMIMフレームワークの開発。
• MIMの成功は、再構成忠実度ではなく、より洗練された特徴表現の学習に起因する、一般化された複雑な特徴表現の習得に起因することを示すこと。
• 標準的なCNNおよびViTバックボーンのみを用いて、ImageNet-1Kおよびさまざまなベンチマークで優れた下流転送性能を達成すること。

提案手法

• 入力パッチではなく中間特徴マップにマスクトークンを適用することで、特徴相互作用の学習を向上させること。
• 空間的文脈を保持し、分布シフトを避けるために、マスキングにRGBの平均値を用いること。
• 画像パッチ間の中間順位相互作用を明示的に強化するために、フーリエドメイン損失を導入すること。
• アーキテクチャの変更なしに、CNNとトランスフォーマーの両方と互換性を持つ汎用フレームワークを設計すること。
• 再構成には線形デコーダを用い、アブレーションのためのオプションとして深度方向畳み込みまたは高度な予測ターゲットを採用すること。
• ResNet、ConvNeXt、ViTバックボーンを用いて、ImageNet-1Kおよび下流タスクでフレームワークを検証すること。

実験結果

リサーチクエスチョン

• RQ1 マスク画像モデリングが表現学習を向上させる真の背後要因は何か？
• RQ2 なぜ既存のMIM手法はビジョントランスフォーマーでは成功しているが、CNNでは性能が劣るのか？
• RQ3 CNNとトランスフォーマーの両方において中間順位のパッチ相互作用を強化できる統一されたMIMフレームワークを設計可能か？
• RQ4 中間順位の相互作用の向上は、より強固で一般化可能な視覚表現をもたらすか？
• RQ5 A²MIMはViT特有のコンponentsを用いずに、標準的なCNNで対照的学習や先行するMIM手法を上回ることができるか？

主な発見

• MIMの成功は、再構成品質やアーキテクチャ設計ではなく、画像パッチ間の中間順位相互作用の強化に起因する。
• A²MIMはResNet-50を用いてImageNet-1Kで79.0%のトップ1精度を達成し、CNNにおける対照的学習や先行するMIM手法を上回った。
• ViT-Bは長期間の事前学習（例：800エポック）によりより大きな利益を得るが、ResNet-50は300エポックを超えても向上が見られず、アーキテクチャのインダクティブバイアスがCNNのMIM向上を制限していることが示唆された。
• A²MIMは相互作用強度分布を改善し、ベースライン手法よりもよりバランスの取れた複雑な中間順位相互作用（0.2n～0.6n）を捉えることができた。
• DINO特徴やHoGといった高度なターゲットを用いることで、A²MIMの性能はResNet-50で79.0%、ViT-Bで82.7%に向上し、スケーラビリティを確認した。
• フーリエドメイン損失と中間マスキングは、特にCNNにおいて特徴相互作用学習を強化することで、顕著な性能向上をもたらした。