[論文レビュー] DropPos: Pre-Training Vision Transformers by Reconstructing Dropped Positions

Haochen Wang, Junsong Fan+4 more|arXiv (Cornell University)|Sep 7, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

DropPosは、ランダムにドロップされた位置埋め込みの位置を再構築することで空間的推論を向上させる自己教師付き事前学習タスクを提案する。パッチをマスクし、それに対応する位置埋め込みを削除することで、モデルは視覚的特徴のみから元の位置を予測するよう学習する。800エポックの事前学習でのみImageNet-1Kで84.2%のトップ-1精度を達成し、MAE（1600エポック）を+0.6%上回る最先端の性能を発揮する。

ABSTRACT

As it is empirically observed that Vision Transformers (ViTs) are quite insensitive to the order of input tokens, the need for an appropriate self-supervised pretext task that enhances the location awareness of ViTs is becoming evident. To address this, we present DropPos, a novel pretext task designed to reconstruct Dropped Positions. The formulation of DropPos is simple: we first drop a large random subset of positional embeddings and then the model classifies the actual position for each non-overlapping patch among all possible positions solely based on their visual appearance. To avoid trivial solutions, we increase the difficulty of this task by keeping only a subset of patches visible. Additionally, considering there may be different patches with similar visual appearances, we propose position smoothing and attentive reconstruction strategies to relax this classification problem, since it is not necessary to reconstruct their exact positions in these cases. Empirical evaluations of DropPos show strong capabilities. DropPos outperforms supervised pre-training and achieves competitive results compared with state-of-the-art self-supervised alternatives on a wide range of downstream benchmarks. This suggests that explicitly encouraging spatial reasoning abilities, as DropPos does, indeed contributes to the improved location awareness of ViTs. The code is publicly available at https://github.com/Haochen-Wang409/DropPos.

研究の動機と目的

• Vision Transformerにおけるトークン順序の感度が低いという問題に対処する。
• ViTにおける空間的推論および位置理解を明示的に向上させる自己教師付き事前学習タスクを設計する。
• 対照的学習やマスク画像モデリングといった既存手法が空間一般化を促進する点での限界を克服する。
• 位置認識表現学習における自明な解や事前学習／微調整の差異を回避する。
• セグメンテーションや検出のような、強い空間的推論を要する視覚タスクにおける下流性能を向上させる。

提案手法

• DropPosは、画像パッチのランダムなサブセットをマスクし、それに対応する位置埋め込みを削除することで、モデルが各可視パッチの元の位置を予測するよう強制する。
• モデルはパッチごとの分類タスクを実行し、視覚特徴と一部の完全な位置埋め込みを持つアンカーパッチのみを用いて、すべての可能な位置のうち正しい位置を予測する。
• 視覚的特徴が類似するパッチに対しては位置スムージングを適用し、分類タスクを緩和することで、正確な位置再構築の必要性を低減する。
• 空間的文脈に注目することで、より頑健な位置予測を促進するための注意メカニズムを導入する。
• すべての位置埋め込みを削除しないことで、事前学習中に部分的な位置信号を保持するため、事前学習／微調整の差異を回避する。
• ViTが視覚的外観のみから空間的レイアウトや形状関係を学習するよう促す自己教師付き学習の目的関数として、タスクを定式化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的外観のみから位置を明示的に再構築する自己教師付き事前学習タスクが、Vision Transformerの空間的推論および位置認識能力を向上させることができるか？
• RQ2 視覚的外観のみから位置を再構築することは、対照的学習やマスク画像モデリングよりも優れた表現学習をもたらすか？
• RQ3 視覚的特徴のみを用いて位置を予測する際、自明な解を回避するにはどうすればよいか？
• RQ4 正確な位置予測を必要とせずに、パッチ間の視覚的類似性に対しても位置再構築を頑健にできるか？
• RQ5 向上した位置感度は、空間理解を要する下流視覚タスクにおける性能向上に結びつくか？

主な発見

• DropPosは800エポックの事前学習でのみImageNet-1Kで84.2%のトップ-1精度を達成し、1600エポックで事前学習されたMAEを+0.6%上回る。
• COCOオブジェクト検出およびインスタンスセグメンテーションベンチマークでは、DropPosがMAEを一貫して上回り、空間的推論能力の向上が裏付けられる。
• ADE20kセマンティックセグメンテーションでは、800エポックの事前学習で47.8%のmIoUを達成し、MAEを+0.8%上回る。
• 線形プローブ実験では、微調整後の位置予測で88.0%のトップ-1精度を達成しており、DropPosの事前学習モデルがより強い空間モデリング能力を持つことが示される。
• 定性的な結果から、DropPosは極端なマスキング（γ=0.75）に対しても正確な位置再構築が可能であることが確認され、頑健性が裏付けられる。
• アブレーションスタディにより、位置感度の向上が下流タスクの性能向上に直接寄与することが確認され、本手法の核心的動機が妥当であることが検証される。