[論文レビュー] Improving Pixel-based MIM by Reducing Wasted Modeling Capability

Yuan Liu, Songyang Zhang+4 more|arXiv (Cornell University)|Aug 1, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、ビジョントランスフォーマーの浅い層からの低レベル特徴を明示的に組み込むことで、ピクセルベースのマスク画像モデリング（MIM）における無駄なモデリング容量を削減するためのマルチレベル特徴統合（MFF）を提案する。複数のエンコーダー層からの特徴を学習可能で動的な重み平均戦略で統合することで、MFFは訓練効率と下流性能を向上させ、ViT-Sで線形プローブにおいて2.8%、セマンティックセグメンテーションで2.6%、微調整で1.2%の向上を達成し、最先端の結果を実現した。

ABSTRACT

There has been significant progress in Masked Image Modeling (MIM). Existing MIM methods can be broadly categorized into two groups based on the reconstruction target: pixel-based and tokenizer-based approaches. The former offers a simpler pipeline and lower computational cost, but it is known to be biased toward high-frequency details. In this paper, we provide a set of empirical studies to confirm this limitation of pixel-based MIM and propose a new method that explicitly utilizes low-level features from shallow layers to aid pixel reconstruction. By incorporating this design into our base method, MAE, we reduce the wasted modeling capability of pixel-based MIM, improving its convergence and achieving non-trivial improvements across various downstream tasks. To the best of our knowledge, we are the first to systematically investigate multi-level feature fusion for isotropic architectures like the standard Vision Transformer (ViT). Notably, when applied to a smaller model (e.g., ViT-S), our method yields significant performance gains, such as 1.2\% on fine-tuning, 2.8\% on linear probing, and 2.6\% on semantic segmentation. Code and models are available at https://github.com/open-mmlab/mmpretrain.

研究の動機と目的

• ピクセルベースのMIM手法（例：MAE）が高周波数の詳細や低レベル特徴に偏るという根本的なバイアスに対処すること。
• 浅い層からのマルチレベル特徴を活用することで、ピクセル再構成における無駄なモデリング容量を削減すること。
• ビジョントランスフォーマーのような等方的アーキテクチャにおけるマルチレベル特徴統合を体系的に行うこと。
• モデルの複雑さを増さずに、下流性能と訓練効率を向上させること。

提案手法

• ビジョントランスフォーマーのエンコーダーの出力層と、選択された浅い・中間層からの特徴を統合する、ドロップイン可能なソリューションとしてのマルチレベル特徴統合（MFF）を提案する。
• 再構成の重要性に基づいて事前学習中に更新される、学習可能な動的な重み平均プーリング戦略を用いて特徴を統合する。
• 層間の特徴分布を揃えるために、統合の前に単純な線形投影層を適用し、ドメインギャップの問題を回避する。
• 標準のMAEと比較して、計算オーバーヘッドが最小限に抑えられた軽量な統合メカニズムを採用する。
• 周波数解析による検証を通じて、高周波数コンテンツを多く含む浅い層（例：レイヤー0）が主な寄与者であると特定した。
• PixMIMへの応用により、異なるピクセルベースのMIMフレームワークへも一般化可能であることを示した。

実験結果

リサーチクエスチョン

• RQ1 なぜピクセルベースのMIM手法（例：MAE）は高レベルの意味的表現を十分に活用しないのか？
• RQ2 マルチレベル特徴統合は、ビジョントランスフォーマーにおける学習ダイナミクスと損失関数の形状にどのように影響を与えるか？
• RQ3 ピクセル再構成および下流性能を向上させるために、最適な層の集合と統合戦略は何か？
• RQ4 浅い特徴を統合することで、モデルの低レベル詳細への過剰依存を減らせるか、再構成の正確性を損なわずに実現できるか？
• RQ5 マルチレベル統合は、分布外データにおける一般化性とロバストネスを向上させるか？

主な発見

• 出力層と浅い層（例：レイヤー0）からの特徴を統合することで、標準のMAEと比較してViT-Sにおける線形プローブ精度が2.8%向上した。
• セマンティックセグメンテーション精度はViT-Sで2.6%向上し、微調整精度も1.2%向上した。
• MFFを用いた事前学習では、標準のMAEが1600エポックを要する性能をたった300エポックで達成でき、訓練時間を約5倍短縮した。
• 学習済み特徴における高周波数情報が減少し、損失関数の形状が平坦化され、最適化の安定性が向上した。
• 分布外ロバストネスが向上し、MFFMAEはImageNet-Sで37.8%のトップ1精度を達成し、MAEより2.3%向上した。
• アブレーションスタディにより、線形投影と重み平均プーリングが性能と効率のバランスを最も良く満たしており、非線形投影やアテンションベースの統合を上回ることを確認した。