[論文レビュー] RegionViT: Regional-to-Local Attention for Vision Transformers

Chun-Fu Chen, Rameswar Panda+1 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Neural Network Applications参考文献 53被引用数 93

ひとこと要約

RegionViT は、地域から局所への注意を用いる階層構造の Vision Transformer を導入し、地域自己注意と地域から局所への注意を組み合わせて、局所領域内でグローバルな情報の流れを可能にします。

ABSTRACT

Vision transformer (ViT) has recently shown its strong capability in achieving comparable results to convolutional neural networks (CNNs) on image classification. However, vanilla ViT simply inherits the same architecture from the natural language processing directly, which is often not optimized for vision applications. Motivated by this, in this paper, we propose a new architecture that adopts the pyramid structure and employ a novel regional-to-local attention rather than global self-attention in vision transformers. More specifically, our model first generates regional tokens and local tokens from an image with different patch sizes, where each regional token is associated with a set of local tokens based on the spatial location. The regional-to-local attention includes two steps: first, the regional self-attention extract global information among all regional tokens and then the local self-attention exchanges the information among one regional token and the associated local tokens via self-attention. Therefore, even though local self-attention confines the scope in a local region but it can still receive global information. Extensive experiments on four vision tasks, including image classification, object and keypoint detection, semantics segmentation and action recognition, show that our approach outperforms or is on par with state-of-the-art ViT variants including many concurrent works. Our source codes and models are available at https://github.com/ibm/regionvit.

研究の動機と目的

• NLPスタイルの設計を直接輸入するのではなく、視覚タスクに最適化されたアーキテクチャを設計することで、Vision Transformers の動機付けと改善を図る。
• グローバルな地域情報と局所的な詳細相互作用を統合する、ピラミッドベースの region-to-local attention メカニズムを提案する。
• 地域トークンを局所トークンと関連付け、グローバルおよびローカルの文脈情報の両方を捉えられるようにする。

提案手法

• 複数のパッチサイズで画像から地域トークンを生成し、地域表現を形成する。
• 全ての地域トークン間で地域自己注意を計算して、グローバル情報を捉える。
• 各地域トークンとそれに関連する局所トークンとの間で局所自己注意を実行し、局所的な詳細を磨く。
• グローバル情報を局所領域へ伝搬させるため、ピラミッド Transformer フレームワーク内で地域注意と局所注意を統合する。

実験結果

リサーチクエスチョン

• RQ1 ピラミッド Vision Transformer における region-to-local attention は、標準的な vision タスクでグローバル自己注意の変種を上回ることができるか。
• RQ2 地域-グローバル文脈と局所-領域の相互作用を結合することは、分類、検出、セマンティックセグメンテーション、アクション認識の性能にどう影響するか？
• RQ3 RegionViT フレームワークは、グローバルな地域トークンから局所化されたトークン間の相互作用への効果的な情報交換を可能にするか？
• RQ4 地域トークン生成に複数のパッチサイズを使用することが下流タスクに与える影響はどのようなものか？

主な発見

• RegionViT は、いくつかの視覚タスクにおいて最新の ViT 変種を上回るか、同等とする。
• 2段階の region-to-local attention は、局所の注意の範囲にもかかわらず、グローバルな情報の流れを局所領域へ可能にする。
• 地域トークンと関連する局所トークンを持つピラミッド構造は、分類、物体/キーポイント検出、セマンティックセグメンテーション、アクション認識の分野で競争力のある性能を提供する。
• 本手法は、Vision Transformers 内でグローバルおよびローカルの文脈的手掛かりを統合する柔軟な機構を提供する。