[論文レビュー] FastMIM: Expediting Masked Image Modeling Pre-training for Vision

Jianyuan Guo, Kai Han+4 more|arXiv (Cornell University)|Dec 13, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

FastMIM は、入力に低解像度（例：128×128）を使用し、RGB ピクセルの代わりに勾配の方向度数ヒストグラム（HOG）特徴量を再構築することで、マスク画像モデリング（MIM）の事前学習を高速化する。この手法により、メモリ消費量と学習時間は約 5 倍削減され、ViT-B/Swin-B を用いた ImageNet-1K でトップ1精度 83.8%/84.1% を達成し、先行手法と同等またはそれを上回る収束速度を実現する。

ABSTRACT

The combination of transformers and masked image modeling (MIM) pre-training framework has shown great potential in various vision tasks. However, the pre-training computational budget is too heavy and withholds the MIM from becoming a practical training paradigm. This paper presents FastMIM, a simple and generic framework for expediting masked image modeling with the following two steps: (i) pre-training vision backbones with low-resolution input images; and (ii) reconstructing Histograms of Oriented Gradients (HOG) feature instead of original RGB values of the input images. In addition, we propose FastMIM-P to progressively enlarge the input resolution during pre-training stage to further enhance the transfer results of models with high capacity. We point out that: (i) a wide range of input resolutions in pre-training phase can lead to similar performances in fine-tuning phase and downstream tasks such as detection and segmentation; (ii) the shallow layers of encoder are more important during pre-training and discarding last several layers can speed up the training stage with no harm to fine-tuning performance; (iii) the decoder should match the size of selected network; and (iv) HOG is more stable than RGB values when resolution transfers;. Equipped with FastMIM, all kinds of vision backbones can be pre-trained in an efficient way. For example, we can achieve 83.8%/84.1% top-1 accuracy on ImageNet-1K with ViT-B/Swin-B as backbones. Compared to previous relevant approaches, we can achieve comparable or better top-1 accuracy while accelerate the training procedure by $\sim$5$ imes$. Code can be found in https://github.com/ggjy/FastMIM.pytorch.

研究の動機と目的

• ビジョントランスフォーマーにおけるマスク画像モデリング（MIM）事前学習の高い計算コストとメモリ負荷を軽減すること。
• 階層的アーキテクチャ（例：Swin Transformer を含む）を含む多様なビジョンバックボーンにおける効率的で汎用的な事前学習を可能にすること。
• 下流の性能を損なわずに学習時間とメモリ使用量を削減すること。
• 入力解像度、特徴表現（RGB 対 HOG）、ネットワークの深さが MIM の効率性と精度に与える影響を調査すること。

提案手法

• 計算負荷とメモリ使用量を軽減するため、低解像度の入力画像（例：224×224 の代わりに 128×128）を用いてビジョンバックボーンを事前学習する。
• ピクセル再構築を勾配の方向度数ヒストグラム（HOG）特徴量の再構築に置き換え、解像度低下に対してもテクスチャおよびエッジ情報を保持する。
• 事前学習中にすべての入力トークンを保持する対称的エンコーダ・デコーダアーキテクチャを採用し、さまざまなバックボーンアーキテクチャとの互換性を確保する。
• 学習の安定性と性能を維持するために、デコーダのサイズを選択したエンコーダの特徴マップの次元に一致させる。
• 事前学習中に段階的に入力解像度を向上させるプログレッシブな解像度スケジューリング戦略である FastMIM-P を導入し、モデル容量と転移性能を向上させる。
• HOG特徴量が幾何的および解像度変更に対して不変であることに着目し、低解像度設定下でも生ピクセルターゲットよりもより頑健であることを活用する。

実験結果

リサーチクエスチョン

• RQ1 MIM 事前学習中に入力解像度を低くすることで、下流の性能を損なわず、著しく学習を高速化できるか？
• RQ2 低解像度入力下で生ピクセルの代わりに HOG 特徴量を再構築することで、テクスチャ情報の損失が緩和されるか？
• RQ3 予測ターゲットの選択（RGB 対 HOG）が、低解像度 MIM における学習の安定性と収束速度に与える影響はいかほどか？
• RQ4 エンコーダの浅い層を事前学習で優先的に処理し、より深い層を無視することで、さらに学習を高速化できるか？
• RQ5 事前学習中にプログレッシブな入力解像度スケジューリングを適用することで、高容量モデルの転移性能が向上するか？

主な発見

• FastMIM は MAE や SimMIM と比較して、事前学習時間を約 5 倍短縮し、ViT-B と Swin-B バックボーンを用いた ImageNet-1K でそれぞれ 83.8% および 84.1% のトップ1精度を達成した。
• 生 RGB ピクセルの代わりに HOG 特徴量を再構築することで、低解像度入力下でも著しく低い事前学習損失とより優れた再構築品質が得られ、曖昧さが低減され、学習の安定性が向上した。
• HOG ターゲットを用いることで、異なる入力解像度間の性能差が顕著に縮小され、HOG が解像度変更に対して頑健であることが示された。
• 事前学習中にエンコーダの最後の数層を無視しても、微調整性能に悪影響を及ぼさず、精度の低下を最小限に抑えながらより高速な学習が可能になった。
• エンコーダの浅い層は事前学習においてより重要であり、その表現品質は下流の転移性能に強く影響する。
• 事前学習中に段階的に入力解像度を向上させる FastMIM-P は、特に高容量モデル（例：Swin-L）において、さらに転移性能を向上させた。