[論文レビュー] Global Self-Attention Networks for Image Recognition

Zhuoran Shen, Irwan Bello+3 more|arXiv (Cornell University)|Oct 6, 2020

Advanced Neural Network Applications参考文献 23被引用数 20

ひとこと要約

本稿では、コンテンツと空間的位置を統合的にモデル化することで、深層ネットワークにおけるグローバルで長距離にわたる特徴相互作用を可能にする、計算効率の良いアテンションメカニズム「グローバル自己アテンション（GSA）モジュール」を提案する。コンテンツのみのグローバルアテンションブランチとアキシアル位置アテンションを組み合わせることで、パrameter数と計算量を減らしながら、ImageNetおよびCIFAR-100において畳み込み型モデルや既存のアテンションベースのモデルを上回る性能を達成する。

ABSTRACT

Recently, a series of works in computer vision have shown promising results on various image and video understanding tasks using self-attention. However, due to the quadratic computational and memory complexities of self-attention, these works either apply attention only to low-resolution feature maps in later stages of a deep network or restrict the receptive field of attention in each layer to a small local region. To overcome these limitations, this work introduces a new global self-attention module, referred to as the GSA module, which is efficient enough to serve as the backbone component of a deep network. This module consists of two parallel layers: a content attention layer that attends to pixels based only on their content and a positional attention layer that attends to pixels based on their spatial locations. The output of this module is the sum of the outputs of the two layers. Based on the proposed GSA module, we introduce new standalone global attention-based deep networks that use GSA modules instead of convolutions to model pixel interactions. Due to the global extent of the proposed GSA module, a GSA network has the ability to model long-range pixel interactions throughout the network. Our experimental results show that GSA networks outperform the corresponding convolution-based networks significantly on the CIFAR-100 and ImageNet datasets while using less parameters and computations. The proposed GSA networks also outperform various existing attention-based networks on the ImageNet dataset.

研究の動機と目的

• 空間次元に伴い二次関数的になる標準的な自己アテンションの非効率性を解消すること。
• 従来の手法が局所的領域に限定するか、コンテンツベースのアテンションのみを用いるという制限を克服すること。
• 計算効率の良いモジュールを設計することで、グローバルアテンションを深層ネットワークのバックボーン部品として可能にすること。
• 画像構造化データをよりよくモデル化するため、コンテンツと空間的位置情報を両方アテンションに統合すること。
• 畳み込みを置き換えることで、独立したグローバルアテンションベースのネットワーク（GSAネットワーク）を構築すること。

提案手法

• コンテンツアテンションと位置アテンションを組み合わせた二重ブランチアーキテクチャを有するGSAモジュールを提案する。
• コンテンツアテンションを、Chenら（2018年）およびShenら（2018年）に類似した線形計算複雑度のグローバルアテンション機構で実装する。
• 位置アテンションをアキシアル形式で実装：列方向のアテンションを先行し、その後に行方向のアテンションを適用することで、複雑度をO(N√N)に低減する。
• 両ブランチの出力を要素ごとの和算により統合し、最終的な特徴表現を生成する。
• ResNetにおける空間畳み込みをGSAモジュールに置き換えることで、GSAネットワークを構築する。
• 標準的なトレーニングプロトコルに従い、ImageNetおよびCIFAR-100でGSAネットワークをエンドツーエンドでトレーニングおよび評価する。

実験結果

リサーチクエスチョン

• RQ1 画像認識における深層ネットワークのバックボーンとして使用可能なほど、グローバル自己アテンション機構を計算的に効率化できるか？
• RQ2 アテンションにおいてコンテンツと空間的位置を同時にモデル化することで、コンテンツのみのアテンションよりも性能が向上するか？
• RQ3 グローバルアテンションの導入が、ネットワークの初期段階と後段階の特徴学習にどのように影響するか？
• RQ4 GSAネットワークが、精度、パrameter効率、推論速度の面で、標準的な畳み込みネットワークおよび既存のアテンションベースのモデルを上回ることができるか？
• RQ5 GSAモジュールにおけるコンテンツアテンションと位置アテンションの相対的寄与度はどの程度か？

主な発見

• GSA-ResNet-50はImageNetでトップ-1精度78.5%を達成し、元のResNet-50（76.9%）およびResNet-101（78.7%）を上回り、かつ高速でパrameter数も少ない。
• ResNet-50の残留ブロック2～4に畳み込みをGSAモジュールに置き換えると、ResNet-101と同等のトップ-1精度を達成するが、実行時間は30%短くなる。
• コンテンツと位置アテンションの両方を含む完全なGSAモジュールは78.5%のトップ-1精度を達成するが、コンテンツアテンションのみを使用すると7.7%の低下を示し、位置モデリングの必要性を裏付ける。
• 列方向のみの位置アテンションが行方向のみのものよりも優れていることから、ImageNet分類において垂直方向の相互作用がより重要であると考えられる。
• CIFAR-100では、GSAネットワークが対応するResNetバージョンよりもトップ-1精度を2.5～2.7%向上させつつ、パrameter数と計算量を削減する。
• GSAモジュールにより、ImageNetにおける推論時間は31.1msにまで低減されたが、ResNet-50の22.6msよりも高い精度を達成している。