[論文レビュー] Efficient Attention Network: Accelerate Attention by Searching Where to Plug

Zhongzhan Huang, Senwei Liang+3 more|arXiv (Cornell University)|Nov 28, 2020

Advanced Neural Network Applications参考文献 31被引用数 8

ひとこと要約

本稿では、共有アテンションモジュールとCNNバックボーンの間の最適なスパース接続を強化学習ベースで探索する、効率的アテンションネットワーク（EAN）を提案する。EANは、画像分類、群衆数え上げ、セマンティックセグメンテーションのタスクにおいて、高速な推論、パラメータ増加の低減、精度の維持を達成する。EANは、冗長なモジュール接続を最小限に抑えながら性能を保持することで、アテンションネットワークの高速化を実現する。

ABSTRACT

Recently, many plug-and-play self-attention modules are proposed to enhance the model generalization by exploiting the internal information of deep convolutional neural networks (CNNs). Previous works lay an emphasis on the design of attention module for specific functionality, e.g., light-weighted or task-oriented attention. However, they ignore the importance of where to plug in the attention module since they connect the modules individually with each block of the entire CNN backbone for granted, leading to incremental computational cost and number of parameters with the growth of network depth. Thus, we propose a framework called Efficient Attention Network (EAN) to improve the efficiency for the existing attention modules. In EAN, we leverage the sharing mechanism (Huang et al. 2020) to share the attention module within the backbone and search where to connect the shared attention module via reinforcement learning. Finally, we obtain the attention network with sparse connections between the backbone and modules, while (1) maintaining accuracy (2) reducing extra parameter increment and (3) accelerating inference. Extensive experiments on widely-used benchmarks and popular attention networks show the effectiveness of EAN. Furthermore, we empirically illustrate that our EAN has the capacity of transferring to other tasks and capturing the informative features. The code is available at https://github.com/gbup-group/EAN-efficient-attention-network.

研究の動機と目的

• 既存のプラグアンドプレイ型アテンションモジュールがネットワークの深さに伴い計算コストとパラメータを増加させる非効率性を是正すること。
• 精度を損なわず、アテンション強化CNNにおける推論時間とパラメータ増加を低減すること。
• 共有アテンションモジュールのCNNバックボーン内におけるスパースで最適な接続ポイントを知的に選択する手法を開発すること。
• 学習されたアテンション接続スキームの下流タスク（群衆数え上げやセマンティックセグメンテーションなど）への転送可能性を評価すること。
• スパースで学習されたアテンション接続が、密接続や固定接続パターンよりもより特徴的な特徴を捉えられることを示すこと。

提案手法

• EANは、CNNステージ内のすべてのブロックに共有アテンションモジュールを採用することで、パラメータ増加を最小限に抑える。
• 強化学習エージェントが、バックボーンと共有アテンションモジュールの間の最適なスパース接続パターンを探索する。
• 検索ポリシーは、検証精度と推論時間に基づくプロキシ報酬関数を用いて訓練され、効率的なアーキテクチャ探索を可能にする。
• 離散的検索空間の微分可能リラクゼーションを用いることで、トレーニング中に勾配ベース最適化が可能になる。
• 最終的なアーキテクチャはスパース接続パターンにプルーニングされ、FLOPsと推論時間を低減しながら性能を維持する。
• 本手法はImageNet、Shanghai Tech、Pascal VOC 2012で評価され、転送性と頑健性が示された。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースの手法は、共有アテンションモジュールとCNNバックボーンの間でスパースで最適な接続パターンを効果的に探索できるか？
• RQ2 EAN手法は、密接続やフル接続アテンションモジュールと比較して、推論時間とパラメータ増加を低減しながら、精度を維持または向上できるか？
• RQ3 ImageNetで学習されたアテンション接続スキームは、群衆数え上げやセマンティックセグメンテーションなどの他のビジョンタスクに成功裏に転送可能か？
• RQ4 学習されたスパース接続は、Grad-CAM可視化によって示されるように、特徴の識別性を向上させるか？
• RQ5 複数のベンチマークにおいて、EANは既存のアテンションモジュールと比較して、効率-精度トレードオフの面で優れているか？

主な発見

• Shanghai Techの群衆数え上げデータセットにおいて、EANはベースラインのフル接続アテンションネットワークと比較して、相対的な推論時間増加を40%以上低減した。
• Pascal VOC 2012では、EAN-SEは16.43%の時間増加で73.68%のmIoUを達成したのに対し、Share-full-SEは48.16%であった。これにより、遅延が31.73ポイント低減された。
• Grad-CAM可視化において、EAN-SEはヴァニラResNetおよびShare-full-SEを上回り、分類のためのより識別的で正確なアテンション領域を強調した。
• EAN-SEモデルは、フル接続および共有ベースラインモデルと同等またはそれ以上の精度を維持しながら、計算コストとパラメータ増加を顕著に低減した。
• EANで学習された接続スキームは、下流タスクにうまく一般化され、群衆数え上げおよびセマンティックセグメンテーションへの強力な転送性を示した。
• RLベースの探索は100イテレーション未満で収束し、従来のNAS手法が数百～数千イテレーションを要するのと比べて著しく高速であった。