[論文レビュー] Exploring the Coordination of Frequency and Attention in Masked Image Modeling

Jie Gui, Chen, Tuo+5 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、自己注意マップを用いて選択的なマスキングと不要なパッチの破棄を誘導する、マスク画像モデリングのためのプラグアンドプレイモジュールであるAttention-driven Masking and Throwing (AMT) を提案する。顕著な物体領域に注目を集中させ、戦略的なトークン削除によって計算負荷を低減することで、複数のベンチマークで線形プローブ精度を2.9%〜5.9%向上させるとともに、事前学習を高速化し、MAE や SimMIM よりも高い性能を達成する。

ABSTRACT

Recently, masked image modeling (MIM), which learns visual representations by reconstructing the masked patches of an image, has dominated self-supervised learning in computer vision. However, the pre-training of MIM always takes massive time due to the large-scale data and large-size backbones. We mainly attribute it to the random patch masking in previous MIM works, which fails to leverage the crucial semantic information for effective visual representation learning. To tackle this issue, we propose the Frequency \& Attention-driven Masking and Throwing Strategy (FAMT), which can extract semantic patches and reduce the number of training patches to boost model performance and training efficiency simultaneously. Specifically, FAMT utilizes the self-attention mechanism to extract semantic information from the image for masking during training in an unsupervised manner. However, attention alone could sometimes focus on inappropriate areas regarding the semantic information. Thus, we are motivated to incorporate the information from the frequency domain into the self-attention mechanism to derive the sampling weights for masking, which captures semantic patches for visual representation learning. Furthermore, we introduce a patch throwing strategy based on the derived sampling weights to reduce the training cost. FAMT can be seamlessly integrated as a plug-and-play module and surpasses previous works, \emph{e.g.} reducing the training phase time by nearly $50\%$ and improving the linear probing accuracy of MAE by $1.3\% \sim 3.9\%$ across various datasets, including CIFAR-10/100, Tiny ImageNet, and ImageNet-1K. FAMT also demonstrates superior performance in downstream detection and segmentation tasks.

研究の動機と目的

• マスキング画像モデリング（MIM）におけるランダムマスキングの非効率性を是正する。特に、無関係な背景領域に注目が散逸する問題を解決する。
• ビジョントランスフォーマーにおける事前学習の高い計算コストを、学習中に不要なパッチを削除することで低減する。
• 教師なしの意味的注意マップを活用してマスキングおよび破棄戦略を誘導することで、表現学習を向上させる。
• 既存の MIM フレームワーク（MAE や SimMIM など）と互換性を持つプラグアンドプレイモジュールを設計し、移行性と効率性を向上させる。
• 最小限のアーキテクチャ変更で、分類、検出、セグメンテーションなどの下流タスクで優れた性能を示すことを実証する。

提案手法

• ビジョントランスフォーマーにおける [CLS] トークンの自己注意マップを用いて、訓練中に教師なしの意味的理解を可能にするサリエンシー・マップを抽出する。
• 高い注目重みを持つパッチを選択的にマスキングすることで、注目を意味的に重要な領域に集中させる注目駆動型マスキングを実装する。
• 低注目重みを持つトークンを永続的に入力から削除する、不要なパッチ破棄戦略を導入し、計算負荷を低減する。
• マスキングと破棄の比率（例：45% マスキング、40% 破棄）を最適化し、表現品質と学習速度のバランスを取る。
• バックボーンアーキテクチャを変更せずに、MAE や SimMIM などの既存の MIM フレームワークに AMT モジュールをプラグインとして適用する。
• ベースラインとアブレーションの比較を公平に行うために、同じ訓練設定（同一のハイパーパramータと評価プロトコル）を全実験で共通化する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーの自己注意マップを用いて、非ランダムで意味的意識のあるマスキングをマスキング画像モデリングで効果的に実現できるか？
• RQ2 低注目パッチを意図的に破棄（throwing）することで、MIM における学習効率と表現品質が向上するか？
• RQ3 注目駆動型マスキングおよび破棄は、ランダムマスキングや破棄なしの手法と比較して、線形プローブおよび微調整精度において優れているか？
• RQ4 AMT は、COCO や LVIS のような下流検出・セグメンテーションタスクにおける移行性をどの程度向上させるか？
• RQ5 提案された AMT フレームワークにおいて、マスキング比、破棄比、性能の最適なトレードオフは何か？

主な発見

• AMT は、CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet、ImageNet-1K における MAE の線形プローブ精度を 2.9% 〜 5.9% 向上させる。
• AMT は、ImageNet-1K および下流ベンチマークにおいて、MAE と SimMIM の両方の微調整精度を 0.2% 〜 5.8% 向上させる。
• COCO 検出タスクでは、AP 全体の指標で一貫した向上を達成し、特に高 IOU 閾値での AP および AP^box で最高の性能を示す。
• 長尾クラス分布を有する挑戦的な LVIS データセットでは、AMT はベースライン手法と比較してすべての検出指標を最低 1.4% 以上向上させる。
• 40% の破棄と 45% のマスキングを組み合わせた AMT 戦略は、Tiny ImageNet で最も高い精度を達成し、ランダム破棄や低注目破棄よりも 0.7% 高い。
• トークンの 50% を破棄した場合、AMT は事前学習を 1.6× に高速化し、ImageNet-1K における SimMIM でランダムマスキングよりも優れた性能を維持する。