[論文レビュー] Masked Image Modeling with Local Multi-Scale Reconstruction

Haoqing Wang, Yehui Tang+4 more|arXiv (Cornell University)|Mar 9, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、ビジョントランスフォーマーの複数のローカルレイヤーにマルチスケール再構成を適用することで、自己教師付き表現学習の高速化を図る、LocalMIMというマスクド画像モデリング手法を提案する。下位レイヤーが細粒度の信号を再構成し、上位レイヤーが粗粒度の信号を再構成する軽量デコーダーを用いることで、スケールをまたがる特徴学習を明示的にガイドする。その結果、ViT-Bでは0.7 GPU時間という著しい前処理計算コストの削減を達成しながら、ImageNet-1Kの下流タスクで高い精度を維持し、最先端の性能を達成した。

ABSTRACT

Masked Image Modeling (MIM) achieves outstanding success in self-supervised representation learning. Unfortunately, MIM models typically have huge computational burden and slow learning process, which is an inevitable obstacle for their industrial applications. Although the lower layers play the key role in MIM, existing MIM models conduct reconstruction task only at the top layer of encoder. The lower layers are not explicitly guided and the interaction among their patches is only used for calculating new activations. Considering the reconstruction task requires non-trivial inter-patch interactions to reason target signals, we apply it to multiple local layers including lower and upper layers. Further, since the multiple layers expect to learn the information of different scales, we design local multi-scale reconstruction, where the lower and upper layers reconstruct fine-scale and coarse-scale supervision signals respectively. This design not only accelerates the representation learning process by explicitly guiding multiple layers, but also facilitates multi-scale semantical understanding to the input. Extensive experiments show that with significantly less pre-training burden, our model achieves comparable or better performance on classification, detection and segmentation tasks than existing MIM models.

研究の動機と目的

• 従来のマスクド画像モデリング（MIM）手法が上位レイヤーの再構成に依存していることによる高い計算コストと遅い学習速度を解消すること。
• マルチスケール再構成による明示的なガイドによって、エンコーダーの下位および上位レイヤーを効率的に学習すること。
• 下位レイヤーに細粒度の監視、上位レイヤーに粗粒度の監視を割り当てることで、マルチスケールの意味理解を可能にすること。
• コードブックや教師ネットワークなどの追加コンponentを必要とせず、前処理負荷を軽減すること。
• 勾配分離訓練が深層ネットワークにおける分離的で効率的なバックプロパゲーションを可能にすることを検証すること。

提案手法

• 本手法は、特定の下位レイヤーが小さな入力領域からの細粒度の監視信号を再構成し、上位レイヤーが大きな領域からの粗粒度の監視信号を再構成するように、複数のローカルレイヤーに再構成タスクを適用する。
• マルチスケールの監視信号は、異なるスケール（例：28²、14²、7²）で入力画像を分割し、ピクセル値やHOG特徴量などの特徴記述子を適用することで抽出される。
• Transformerブロックとデコンボリューション/プーリング層を備えた軽量デコーダーにより、予測を監視信号のスケールに再スケーリングし、エンドツーエンドの学習を可能にする。
• 非対称なエンコーダ-デコーダ戦略が用いられ、前処理中に計算コストを最小限に抑えるために、エンコーダーには可視パッチのみが入力される。
• 勾配分離訓練が適用され、各ローカル再構成レイヤーの後にバックプロパゲーションが停止され、ネットワークの異なるセグメントの学習が分離される。
• 本手法は、カラム型ViTおよび階層型Swinトランスフォーマーの両アーキテクチャで評価され、レイヤー選択および監視スケールに関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 上位レイヤーのみに再構成タスクを適用するのではなく、複数のローカルレイヤーに適用することで、MIMにおける自己教師付き表現学習の高速化が可能か？
• RQ2 下位レイヤーに細粒度、上位レイヤーに粗粒度の監視を割り当てることで、マルチスケールの意味理解とモデル性能が向上するか？
• RQ3 ローカルなマルチスケール再構成により、精度を損なわず、前処理時間と計算コストを削減できるか？
• RQ4 各ローカルレイヤー後に勾配を停止する勾配分離訓練は、性能を維持しつつ、効率的で分離された学習を可能にするか？
• RQ5 ViTおよびSwinアーキテクチャにおいて、性能はローカルレイヤーの選択や監視スケールの選定にどれほど敏感か？

主な発見

• LocalMIMは、ViT-Bを用いてわずか0.7 GPU時間でImageNet-1Kで83.3％のトップ1精度を達成し、従来のMIMモデルと比較して前処理コストを顕著に削減した。
• 1.1 GPU時間でLocalMIMはSwin-Bで83.8％の精度に到達し、前処理時間の短縮にもかかわらず、既存手法を上回るか同等の性能を示した。
• Swinスタイルのレイヤー分割[2,4,10,12]と細粒度から粗粒度へのマルチスケール監視[28²,14²,7²,7²]が、ViTにおいて最良の性能をもたらした。
• 勾配分離訓練は、ViT-Bで83.0％、Swin-Bで83.7％の精度を達成し、グローバルバックプロパゲーションとほぼ同等の性能を維持した。これにより、ローカル監視の有効性が裏付けられた。
• マルチスケール監視は単一スケール監視を上回り、細粒度から粗粒度への監視が粗粒度から細粒度への監視よりも効果的であることが判明した。これは生物学的およびアーキテクチャ的バイアスと整合した。
• 可視化結果から、LocalMIMの自己注意メカニズムは、タスク固有の監視なしに、前景オブジェクトや意味的に整合性のある領域を効果的に区別していることが示された。