[論文レビュー] Salient Positions based Attention Network for Image Classification

Sheng Fang, Kaiyu Li+1 more|arXiv (Cornell University)|Jun 9, 2021

Visual Attention and Saliency Detection参考文献 23被引用数 4

ひとこと要約

この論文では、空間的位置の顕著性に基づくアテンションネットワークであるSPANetを提案する。非局所ブロックが全空間的位置にアテンションを適用するのに対し、SPANetはチャネルごとの二乗特徴マグニチュードを用いて顕著な位置を特定することで、計算コストとメモリ使用量を削減する。これにより、精度を向上させつつ、限定的で焦点を絞った文脈モデリングが可能になる。画像分類ベンチマークにおいて、顕著な性能向上が得られた。

ABSTRACT

The self-attention mechanism has attracted wide publicity for its most important advantage of modeling long dependency, and its variations in computer vision tasks, the non-local block tries to model the global dependency of the input feature maps. Gathering global contextual information will inevitably need a tremendous amount of memory and computing resources, which has been extensively studied in the past several years. However, there is a further problem with the self-attention scheme: is all information gathered from the global scope helpful for the contextual modelling? To our knowledge, few studies have focused on the problem. Aimed at both questions this paper proposes the salient positions-based attention scheme SPANet, which is inspired by some interesting observations on the attention maps and affinity matrices generated in self-attention scheme. We believe these observations are beneficial for better understanding of the self-attention. SPANet uses the salient positions selection algorithm to select only a limited amount of salient points to attend in the attention map computing. This approach will not only spare a lot of memory and computing resources, but also try to distill the positive information from the transformation of the input feature maps. In the implementation, considering the feature maps with channel high dimensions, which are completely different from the general visual image, we take the squared power of the feature maps along the channel dimension as the saliency metric of the positions. In general, different from the non-local block method, SPANet models the contextual information using only the selected positions instead of all, along the channel dimension instead of space dimension. Our source code is available at https://github.com/likyoo/SPANet.

研究の動機と目的

• ビジョントランスフォーマーおよび非局所ネットワークにおけるグローバル自己アテンションの高い計算コストとメモリ使用量に対処すること。
• 自己アテンションにおけるグローバルな文脈が、表現学習にとって真に有益であるかどうかを調査すること。
• 最も情報の多い特徴位置にのみ注目する、より効率的なアテンション機構を開発すること。
• 特徴マップの顕著な空間的位置に注目することで、精度を損なわずにモデルの効率を向上させること。

提案手法

• チャネル次元に沿った二乗L2ノルムに基づいて、特徴マップ内の重要な位置を特定する顕著性位置選択アルゴリズムを導入する。
• 顕著性は、各空間位置ごとのチャネル活性化の二乗和として計算され、活性化エネルギーが大きい領域が強調される。
• 計算に使用するのは上位k個の顕著な位置のみであり、これにより、完全な自己アテンションと比較してクエリおよびキーの数を著しく削減できる。
• アテンションは選択された位置のみを対象として計算され、FLOPsとメモリ消費量が削減される一方で、重要な文脈情報は保持される。
• 従来の非局所ブロックとは異なり、このアプローチは空間次元ではなくチャネル次元に沿って動作する。
• 標準的なCNNまたはビジョントランスフォーマーベースに統合され、画像分類タスクにおけるエンドツーエンド学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 グローバル自己アテンションの計算コストを性能を落とさずに削減することは可能か？
• RQ2 特徴マップのどの空間的位置が文脈表現に最も寄与しているか？
• RQ3 全位置にわたるグローバルアテンションは本当に必要なのか、それとも疎な部分集合で同等の性能が得られるか？
• RQ4 チャネルごとの活性化マグニチュードは、特徴マップにおけるアテンションの重要性とどの程度相関しているか？
• RQ5 顕著な位置にのみ注目することで、効率的かつ効果的なアテンション機構を設計できるか？

主な発見

• SPANetは、標準的な非局所モジュールや自己アテンションモジュールと比較して、顕著にFLOPsとメモリ使用量を削減しながらImageNet-1Kで競争力のある精度を達成した。
• チャネルごとの二乗マグニチュードに基づく顕著な位置選択は、アテンションに最も適した空間的位置を効果的に特定した。
• パラメータ効率性と推論速度の面で、標準的な非局所ブロックを上回りつつ、トップ1精度を維持または向上させた。
• 実験の結果、空間位置の10〜20％にのみ注目しても、完全アテンション機構と同等の性能が得られることが示された。
• アブレーションスタディにより、チャネルごとの二乗ノルムがアテンションの重要性の優れた代理指標であることが確認され、顕著性指標の設計が妥当であることが裏付けられた。