[論文レビュー] DAS: A Deformable Attention to Capture Salient Information in CNNs

Farzad Salajegheh, Nader Asadi+2 more|arXiv (Cornell University)|Nov 20, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

DASは、空間的注目のために可変畳み込みを組み合わせ、効率性のために深度別分離畳み込みを用いる軽量で完全畳み込み型の注目メカニズムを提案する。これにより、計算量がO(n)に保たれ、バックボーンの変更なしに画像分類および物体検出タスクの性能が向上し、最小限のFLOP増加で最先端の結果を達成する。

ABSTRACT

Convolutional Neural Networks (CNNs) excel in local spatial pattern recognition. For many vision tasks, such as object recognition and segmentation, salient information is also present outside CNN's kernel boundaries. However, CNNs struggle in capturing such relevant information due to their confined receptive fields. Self-attention can improve a model's access to global information but increases computational overhead. We present a fast and simple fully convolutional method called DAS that helps focus attention on relevant information. It uses deformable convolutions for the location of pertinent image regions and separable convolutions for efficiency. DAS plugs into existing CNNs and propagates relevant information using a gating mechanism. Compared to the O(n^2) computational complexity of transformer-style attention, DAS is O(n). Our claim is that DAS's ability to pay increased attention to relevant features results in performance improvements when added to popular CNNs for Image Classification and Object Detection. For example, DAS yields an improvement on Stanford Dogs (4.47%), ImageNet (1.91%), and COCO AP (3.3%) with base ResNet50 backbone. This outperforms other CNN attention mechanisms while using similar or less FLOPs. Our code will be publicly available.

研究の動機と目的

• 固定カーネル受容野の外側の顕著な情報を捉える能力に制限があるCNNの課題に対処すること。
• 変換器と同様に計算量が増加しないように、CNNに密で包括的な注目を提供すること。
• 既存のCNNを最小限のアーキテクチャ変更で強化できる、プラグアンドプレイ型の注目モジュールを開発すること。
• 可変畳み込みとゲーティングを用いて、タスク関連の領域に注目することで特徴表現を向上させること。
• 顕著な特徴検出（sfd）という新しい指標を用いて、注目集中の有効性を評価すること。

提案手法

• DASは、本ネットワークの特徴マップと可変畳み込みの出力を組み合わせるゲーティング機構を統合し、顕著な領域を強調する。
• 深さ方向分離畳み込みを用いて、低FLOPコストを維持したままグローバルなコンテキストを効率的にモデル化する。
• 可変畳み込みは、関連のある画像領域に合わせてサンプリング位置を動的に調整し、空間的注目を向上させる。
• 注目ゲートの強度を制御するための1つの学習可能なハイパーパrameter α を使用し、調整が容易である。
• 残差ブロックの後に注目ゲートを挿入することで、顕著な特徴への早期かつ継続的な注目が可能になる。
• アーキテクチャは完全畳み込み型であり、元のネットワークを変更せずに任意の既存のCNNバックボーンと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 計算量の増加なしに、畳み込みベースの軽量注目メカニズムがCNNの特徴表現を向上させられるか？
• RQ2 可変畳み込みと深さ方向分離畳み込みを組み合わせることで、顕著な画像領域へのより効果的で効率的な注目が可能になるか？
• RQ3 標準的なビジョンベンチマークにおいて、DASは既存のCNN注目メカニズムと比較して性能とFLOP効率の点で優れているか？
• RQ4 gradCAMとsfd指標を用いて測定した場合、DASはタスク関連の特徴への注目集中をどの程度強化しているか？
• RQ5 DASは画像分類および物体検出タスクの両方に対して、一貫した性能向上を達成できるか？

主な発見

• ResNet-50に追加した場合、Stanford Dogsではトップ1精度が4.47%向上し、ImageNetでは1.91%向上した。
• COCO物体検出タスクにおいて、DASはベースのResNet-50バックボーンに対して3.3%のAP向上を達成した。
• 顕著な特徴検出（sfd）スコアは、標準のResNet-50の0.59からDASでは0.72に上昇し、関連特徴への注目が強くなったことを示している。
• ImageNetのランダムサンプル100枚について、DASの平均sfdスコアは0.68であったのに対し、標準のResNetは0.47であった。
• gradCAMの可視化では、DASが特に深いブロック（例：ブロック4）において、ベースラインのResNetよりも関連領域に注目を集中させていることが明らかになった。
• DASはO(n)の複雑度を維持しており、O(n²)の複雑度を示す変換器型注目メカニズムを著しく上回りながら、同程度または少ないFLOPsで動作する。