[論文レビュー] PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling

Yuan Liu, Songyang Zhang+3 more|arXiv (Cornell University)|Mar 4, 2023

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

PixMIM はピクセルベースの MIM のボトルネックを分析し、ターゲットの高周波テクスチャを過度に重視せず、前景情報を保持するシンプルなプラグアンドプレー手法を導入し、最小コストで MAE、ConvMAE、LSMAE を改善します。

ABSTRACT

Masked Image Modeling (MIM) has achieved promising progress with the advent of Masked Autoencoders (MAE) and BEiT. However, subsequent works have complicated the framework with new auxiliary tasks or extra pre-trained models, inevitably increasing computational overhead. This paper undertakes a fundamental analysis of MIM from the perspective of pixel reconstruction, which examines the input image patches and reconstruction target, and highlights two critical but previously overlooked bottlenecks. Based on this analysis, we propose a remarkably simple and effective method, {\ourmethod}, that entails two strategies: 1) filtering the high-frequency components from the reconstruction target to de-emphasize the network's focus on texture-rich details and 2) adopting a conservative data transform strategy to alleviate the problem of missing foreground in MIM training. {\ourmethod} can be easily integrated into most existing pixel-based MIM approaches (\ie, using raw images as reconstruction target) with negligible additional computation. Without bells and whistles, our method consistently improves three MIM approaches, MAE, ConvMAE, and LSMAE, across various downstream tasks. We believe this effective plug-and-play method will serve as a strong baseline for self-supervised learning and provide insights for future improvements of the MIM framework. Code and models are available at \url{https://github.com/open-mmlab/mmselfsup/tree/dev-1.x/configs/selfsup/pixmim}.

研究の動機と目的

• ピクセルベースの Masked Image Modeling (MIM) に関連する再構築ターゲットと入力パッチに関するボトルネックを特定する。
• 追加の計算コストをかけずに既存の MIM 手法を改善する、シンプルでプラグアンドプレーの方法を提案する。
• PixMIM が複数の MIM ベースラインおよび下流タスク全体で一般化することを示す。
• PixMIM の下で堅牢性と形状バイアスの改善を実証する。

提案手法

• 再構築ターゲットと入力パッチの特性に関して MAE 風のピクセルベース MIM を分析する。
• 2 つの戦略を提案する：(1) 周波数領域で低周波数再構築ターゲットを作成するためにローパスフィルタを適用する、(2) RF（Random Resized Crop）を Simple Resized Crop（SRC）に置換して前景コンテンツを保持する。
• 追加のトレーニングオーバーヘッドを増やさず、RGB ターゲットと FFT ベースのローパスフィルタリングを用いる効率的な実装を提供する。
• PixMIM を MAE、ConvMAE、LSMAE に適用し、ImageNet-1K、ADE20K、COCO で評価してプラグアンドプレー互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 ピクセルベースの MIM における再構築ターゲットと入力パッチに関連する根本的なボトルネックは何か。
• RQ2 ターゲットと拡張に対してコストをかけずにシンプルな変更を行うことで、複数の MIM ベースラインの表現品質を改善できるか。
• RQ3 低周波数ターゲットとより保守的な拡張は、堅牢性、形状バイアス、および下流タスクの性能を改善するか。
• RQ4 PixMIM は ImageNet 分類、セマンティックセグメンテーション、物体検出データセット全般で普遍的に有益か。

主な発見

• ピクセルベースの MIM には主に 2 つのボトルネックがあることを特定した：再構築ターゲットが高周波テクスチャを強調し、入力パッチは過度にマスキングされると前景のカバー率が低くなる。
• PixMIM は ImageNet 線形およびファインチューニング、COCO 物体検出、ADE20K セグメンテーションのいずれにおいても、追加の計算をほとんど増やすことなく MAE、ConvMAE、LSMAE を一貫して改善する。
• 低周波数の再構築ターゲットは学習を形状と全体的なパターンへとシフトさせ、堅牢性と形状バイアスを高める。
• Random Resized Crop（RRC）を Simple Resized Crop（SRC）に置換することで訓練中の前景カバー率が増し、表現学習を助ける。
• PixMIM は分布シフト（ImageNet の variantes）への堅牢性を高め、ベースラインと比較して形状バイアス指標を改善する。
• アブレーションにより最適なローパスフィルタの帯域幅が r=40 の周辺であり、PixMIM の両方の成分を組み合わせることで得られる利得を確認した。