[論文レビュー] Revealing the Dark Secrets of Masked Image Modeling

Zhenda Xie, Zigang Geng+4 more|arXiv (Cornell University)|May 26, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿は、自己教師あり事前学習手法としてのマスク画像モデリング（MIM）を調査し、MIMがビジョントランスフォーマーの全層に強く局所性の誘導バイアスを導入し、高い注目ヘッド多様性を維持しており、幾何的および運動関連タスクで優れた性能を発揮することを明らかにした。アーキテクチャの変更なしに、標準的なMIM事前学習済みのSwinV2-Lは、ポーズ推定（COCO上78.9 AP）、深度推定（NYUv2上0.287 RMSE）、動画追跡（LaSOT上70.7 SUC）において、細分化されたタスクや幾何的タスクで教師ありモデルを上回る最先端の結果を達成した。

ABSTRACT

Masked image modeling (MIM) as pre-training is shown to be effective for numerous vision downstream tasks, but how and where MIM works remain unclear. In this paper, we compare MIM with the long-dominant supervised pre-trained models from two perspectives, the visualizations and the experiments, to uncover their key representational differences. From the visualizations, we find that MIM brings locality inductive bias to all layers of the trained models, but supervised models tend to focus locally at lower layers but more globally at higher layers. That may be the reason why MIM helps Vision Transformers that have a very large receptive field to optimize. Using MIM, the model can maintain a large diversity on attention heads in all layers. But for supervised models, the diversity on attention heads almost disappears from the last three layers and less diversity harms the fine-tuning performance. From the experiments, we find that MIM models can perform significantly better on geometric and motion tasks with weak semantics or fine-grained classification tasks, than their supervised counterparts. Without bells and whistles, a standard MIM pre-trained SwinV2-L could achieve state-of-the-art performance on pose estimation (78.9 AP on COCO test-dev and 78.0 AP on CrowdPose), depth estimation (0.287 RMSE on NYUv2 and 1.966 RMSE on KITTI), and video object tracking (70.7 SUC on LaSOT). For the semantic understanding datasets where the categories are sufficiently covered by the supervised pre-training, MIM models can still achieve highly competitive transfer performance. With a deeper understanding of MIM, we hope that our work can inspire new and solid research in this direction.

研究の動機と目的

• MIMが多様なビジョンタスクで優れた性能を発揮する背後にある主要なメカニズムを解明すること。
• 代表的誘導バイアスおよび特徴階層構造の観点から、MIMと教師あり事前学習を比較すること。
• 意味理解、幾何的および運動関連タスクの各分野におけるMIMモデルと教師ありモデルの転移可能性を調査すること。
• なぜMIMが弱い意味的信号または細分化されたコンテンツを有するタスクで優れるのかを解明すること。
• MIMと教師ありモデルにおける注目ヘッド多様性および層ごとの表現類似性に関する知見を提供すること。

提案手法

• 平均化された注目距離の可視化により、MIMおよび教師ありモデルにおける局所性誘導バイアスを分析する。
• ヘッド間の注目マップのKLダイバージェンスを用いて注目ヘッド多様性を測定する。
• 中心化カーネル整合性（CKA）を計算し、層間の表現類似性を比較する。
• COCO、NYUv2、KITTI、LaSOT、ADE-20K、および細分化データセットを含む多様なベンチマークで微調整性能を評価する。
• 公平な比較のため、MIMおよび教師あり事前学習の両方で同一の設定でモデルを訓練する。
• バックボーンにSwinV2-Lを、ポーズ、深度、追跡タスクの標準的なヘッド設計を用いる。

Figure 1: The averaged attention distance in different attention heads (dots) w.r.t the layer number on supervised model (a), contrastive learning model (b), and SimMIM model (c) with ViT-B as the backbone architecture.

実験結果

リサーチクエスチョン

• RQ1 MIMが教師あり事前学習と比較して優れた性能を発揮する背後にある表現的差異は何か？
• RQ2 MIMはネットワークの各層において注目局所性とヘッド多様性にどのように影響を与えるか？
• RQ3 MIMは意味的監視が弱いにもかかわらず、幾何的および運動関連タスクで教師ありモデルを上回る理由は何か？
• RQ4 層ごとの類似性と転移可能性の観点から、MIMモデルと教師ありモデルの表現構造はどのように異なるか？
• RQ5 注目ヘッド多様性は、微調整性能とどの程度相関しているか？

主な発見

• MIM事前学習は、全層にわたり強い局所性誘導バイアスを導入するが、教師ありモデルは層が深くなるにつれて局所的からグローバルな注目へとシフトする。
• MIMは全層にわたり高い注目ヘッド多様性を維持するが、教師ありモデルは最後の3層で多様性を失い、微調整性能に悪影響を及ける。
• MIMモデルは、アーキテクチャの変更なしに、ポーズ推定（COCO test-dev上78.9 AP）で最先端の性能を達成した。
• 深度推定において、MIMはNYUv2で0.287 RMSE、KITTIで1.966 RMSEを達成し、教師ありベースラインを上回った。
• 動画オブジェクト追跡において、MIMはLaSOTで70.7 SUCを達成し、長期追跡への強い転移性を示した。
• iNaturalist-18やCOGのような細分化されたタスクや意味的コンテンツが少ないタスクにおいて、MIMは教師ありモデルを著しく上回った。これは、より優れた表現転移に起因する。

Figure 2: (a) The error rate of fine-tuning on ImageNet-1K (blue circle $\circ$ ) and averaged attention distance (red diamond $\diamond$ ) w.r.t AvgDist (averaged distance of masked pixels to the nearest visible pixels) with Swin-B as the backbone. Points ( $\diamond$ or $\circ$ ) denote the SimMIM