[論文レビュー] $A^2$-Nets: Double Attention Networks

Yunpeng Chen, Yannis Kalantidis+3 more|arXiv (Cornell University)|Oct 27, 2018

Human Pose and Action Recognition参考文献 15被引用数 14

ひとこと要約

本論文では、2段階のアテンションにより、空間的および時間的依存関係を長距離にわたり捉えることで畳み込みニューラルネットワーク（CNN）を強化する、$A^2$-Netsを提案する。まず、2次統計を用いてグローバル特徴をプーリングし、次にそれらを各位置に適応的に分配する。この手法は、ResNet-152などの深層モデルよりも顕著に少ないパラメータ数とFLOPsで、ImageNet-1k、Kinetics、UCF-101の各ベンチマークで最先端の性能を達成した。

ABSTRACT

Learning to capture long-range relations is fundamental to image/video recognition. Existing CNN models generally rely on increasing depth to model such relations which is highly inefficient. In this work, we propose the "double attention block", a novel component that aggregates and propagates informative global features from the entire spatio-temporal space of input images/videos, enabling subsequent convolution layers to access features from the entire space efficiently. The component is designed with a double attention mechanism in two steps, where the first step gathers features from the entire space into a compact set through second-order attention pooling and the second step adaptively selects and distributes features to each location via another attention. The proposed double attention block is easy to adopt and can be plugged into existing deep neural networks conveniently. We conduct extensive ablation studies and experiments on both image and video recognition tasks for evaluating its performance. On the image recognition task, a ResNet-50 equipped with our double attention blocks outperforms a much larger ResNet-152 architecture on ImageNet-1k dataset with over 40% less the number of parameters and less FLOPs. On the action recognition task, our proposed model achieves the state-of-the-art results on the Kinetics and UCF-101 datasets with significantly higher efficiency than recent works.

研究の動機と目的

• 局所的受容 field による制限により、標準的なCNNが長距離依存関係を効率的にモデル化できないことに対処する。
• 深さを増さず、計算コストを増加させない軽量で、即座に統合可能なモジュールを設計し、畳み込み層がグローバルな文脈にアクセスできるようにする。
• 深層アーキテクチャと比較して、モデルサイズとFLOPsを削減しながら、画像および動画認識タスクの性能を向上させる。
• 2段階のアテンションメカニズムにより、効率的なグローバル特徴の集約と、適応的な特徴の分配を実現する。

提案手法

• 二重アテンションブロックは2段階のアテンションメカニズムを用いる：まず、2次アテンションプーリングにより、空間的または時空間的特徴マップ全体から重要な特徴をコンパクトな表現に集約する。
• 次に、関連性に基づいてプール済みの特徴を各空間的または時間的場所に適応的に選択して分配する第二のアテンション機構を実装する。
• 最初のアテンション操作は、グローバル平均プーリングを越えた複雑な外観および動きの相関関係を捉える、特徴の2次統計を暗黙的に計算する。
• 2番目のアテンション機構は、計算コストをほとんど上昇させないまま、各場所の特徴を選択的に強化する適応的特徴割り当てを実現する。
• このブロックは、ResNetなどの既存のCNNと互換性があるプラグインモジュールとして設計されており、アーキテクチャの大規模な再設計なしに任意の段階に挿入可能である。
• 非局所ネットワークの2次関数的複雑度を回避するため、すべての特徴位置ではなく、コンパクトなプール済み特徴セット上で処理を行う。

実験結果

リサーチクエスチョン

• RQ1 深さを増さずに、学習可能な軽量アテンション機構が、CNNにおける長距離依存関係を効果的にモデル化できるか？
• RQ2 グローバル平均プーリングと比較して、2次特徴プーリングは、複雑な空間的および運動的相関関係をどれほど効果的に捉えられるか？
• RQ3 2段階のアテンション機構は、SENet や Non-local Networks といった既存のアテンションモジュールを、精度と効率の両面で上回ることができるか？
• RQ4 二重アテンションブロックは、FLOPsとパラメータ数を削減しながら、画像および動画認識ベンチマークでの性能をどの程度向上できるか？

主な発見

• ImageNet-1kでは、$A^2$-ブロックを搭載したResNet-50が77.0%のトップ-1精度を達成し、パラメータ数を40%削減し、FLOPsを半分以下に抑えたにもかかわらず、ResNet-152（77.0%）と同等の性能を発揮した。
• Kineticsでは、$A^2$-Netが8フレームの入力と40.8 GFLOPsで74.6%のトップ-1精度を達成し、FLOPsとフレーム数が少ないにもかかわらず、I3D（71.1%）とR(2+1)D（72.0%）を上回った。
• UCF-101では、$A^2$-Netが41.6 GFLOPsで96.4%のトップ-1精度を達成し、より小さなバックボーンと少ない計算量で、I3D-RGB（95.6%）とR(2+1)D-RGB（96.8%）を上回った。
• アブレーションスタディの結果、ベースラインのResNet-50やSENetと比較して、二重アテンション機構が顕著に性能向上を示した。2次プーリングと適応的分布の有効性が裏付けられた。
• モデルは優れた転送性を示し、Kineticsで事前学習した特徴を用いてUCF-101で最先端の結果を達成した。これは、強力で汎用性の高い特徴学習が可能であることを示している。