[論文レビュー] MPViT: Multi-Path Vision Transformer for Dense Prediction

Youngwan Lee, Jonghee Kim+2 more|arXiv (Cornell University)|Dec 21, 2021

Advanced Neural Network Applications被引用数 14

ひとこと要約

MPViTは、マルチスケールのパッチエンベッディングを備えたマルチパスビジョントランスフォーマーを提案し、並列なトランスフォーマー符号化器を介して細分化された特徴と粗い視覚的特徴を同時に処理することで、ImageNet、COCO、ADE20Kで最先端の性能を達成した。パラメータ数とFLOPsが従来のSOTA ViTより少ない。

ABSTRACT

Dense computer vision tasks such as object detection and segmentation require effective multi-scale feature representation for detecting or classifying objects or regions with varying sizes. While Convolutional Neural Networks (CNNs) have been the dominant architectures for such tasks, recently introduced Vision Transformers (ViTs) aim to replace them as a backbone. Similar to CNNs, ViTs build a simple multi-stage structure (i.e., fine-to-coarse) for multi-scale representation with single-scale patches. In this work, with a different perspective from existing Transformers, we explore multi-scale patch embedding and multi-path structure, constructing the Multi-Path Vision Transformer (MPViT). MPViT embeds features of the same size~(i.e., sequence length) with patches of different scales simultaneously by using overlapping convolutional patch embedding. Tokens of different scales are then independently fed into the Transformer encoders via multiple paths and the resulting features are aggregated, enabling both fine and coarse feature representations at the same feature level. Thanks to the diverse, multi-scale feature representations, our MPViTs scaling from tiny~(5M) to base~(73M) consistently achieve superior performance over state-of-the-art Vision Transformers on ImageNet classification, object detection, instance segmentation, and semantic segmentation. These extensive results demonstrate that MPViT can serve as a versatile backbone network for various vision tasks. Code will be made publicly available at \url{https://git.io/MPViT}.

研究の動機と目的

• 分類、検出、セグメンテーションの各タスクに必要なマルチスケール特徴理解を実現するため、ビジョントランスフォーマーにおけるシングルスケールパッチ表現の限界を克服すること。
• CoaTのような既存のコアスケール機構がもたらす計算およびメモリのオーバーヘッドを解消し、マルチスケール特徴の並列的かつ独立的な処理を可能にすること。
• 複数の並列トランスフォーマー経路に重複する畳み込みパッチエンベッディングを統合することで、特徴表現の多様性を向上させること。
• 畳み込みの局所的インダクティブバイアスと自己注意によるグローバルコンテキストを組み合わせるための効果的なグローバルからローカルへの特徴相互作用を実現すること。
• モデルの複雑さを低減しつつ、複数のビジョンベンチマークで一貫してSOTAビジョントランスフォーマーを上回る汎用バックボーンを開発すること。

提案手法

• 同じ入力画像から、異なるカーネルサイズ（例：3×3、5×5、7×7）の重複する畳み込みパッチエンベッディングを適用し、マルチスケールのパッチを抽出することで、一貫したシーケンス長を維持する。
• 異なるパッチスケールからのトークンを、それぞれ独立したトランスフォーマー符号化器パスに供給し、各スケールで独立したグローバル自己注意計算を実行する。
• グローバルからローカルへの特徴相互作用（GLI）機構を用いて、複数のパスからの特徴を統合し、局所的な畳み込み特徴とグローバルなトランスフォーマー特徴を連結する。
• 各パスが特定の受容field範囲に特化するマルチパスアーキテクチャを採用する — パス-1は細かいディテール、パス-3は粗い意味的特徴、パス-2は中間スケールを担当する。
• ImageNet-1Kで標準的なDeiTスタイルの訓練手順を適用し、その後COCOおよびADE20Kで検出・セグメンテーション・分類タスクのファインチューニングを実施する。
• 各パスからの注目マップを可視化し、スケールに特化した注目行動を分析し、補完的な特徴学習が実現されているかを検証する。

実験結果

リサーチクエスチョン

• RQ1 マルチパストランスフォーマー構造におけるマルチスケールパッチエンベッディングは、密集予測タスクにおける特徴表現の多様性を向上させることができるか？
• RQ2 複数のベンチマークにおいて、MPViTの精度、パラメータ数、FLOPsの観点から、SOTAビジョントランスフォーマーと比較してどの程度優れているか？
• RQ3 MPViTの個々のパスが、異なるサイズの物体や異なる意味的レベルのオブジェクトに注目する程度はどの程度か？
• RQ4 グローバルからローカルへの特徴相互作用機構は、マルチパス環境下で局所的インダクティブバイアスとグローバル自己注意を効果的に組み合わせることができるか？
• RQ5 MPViTの失敗モードは何か？また、注目マップは誤分類事例とどの程度相関しているか？

主な発見

• MPViT-Small（22Mパラメータ、4 GFLOPs）は、COCOマスクAP 43.9を達成し、より大きなFocal-Baseモデル（89Mパラメータ、16 GFLOPs）の43.7 APを上回った。
• ImageNet-1Kでは、MPViT-Tiny（5Mパラメータ）が83.5％のトップ-1精度を達成し、Swin-BやCoaT-Lite-SなどのSOTA ViTを上回った。
• グローバルからローカルへの特徴相互作用機構により、畳み込みからの局所的ディテールと自己注意からのグローバルコンテキストを組み合わせることで、特徴品質が向上した。
• 可視化分析により、パス-1は小さなオブジェクトやテクスチャに注目し、パス-3は大きなオブジェクトや意味的コンセプトに注目していることが確認された。パス-2は中間的な挙動を示した。
• 失敗分析により、注目マップが誤った予測を引き起こす場合、意味的に類似したオブジェクト（例：フォークリフト vs.トレーラーマイク）に強い注目が集まっていることが判明し、注目マップとモデル予測との相関が示された。
• MPViTは、インスタンスセグメンテーション（COCO）、セマンティックセグメンテーション（ADE20K）、オブジェクト検出（COCO）のすべてで最先端の性能を達成し、バックボーンとしての汎用性を示した。