[論文レビュー] Attentional Feature Fusion

Yimian Dai, Fabian Gieseke+3 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Neural Network Applications参考文献 56被引用数 6

ひとこと要約

本論文は、Inception、ResNet、FPNなどの多様なネットワークアーキテクチャにおいて、スケールに敏感な多段階の注意重みを学習することで、動的特徴統合を統合的かつ注意に基づいて行う、Attentional Feature Fusion (AFF) を提案する。iAFF（繰り返しによるAFF）を用いた初期特徴統合の反復的精錬により、パrameter数を減らしながらも、SOTAの性能を達成し、CIFAR-100およびImageNetで高い精度を実現した。

ABSTRACT

Feature fusion, the combination of features from different layers or branches, is an omnipresent part of modern network architectures. It is often implemented via simple operations, such as summation or concatenation, but this might not be the best choice. In this work, we propose a uniform and general scheme, namely attentional feature fusion, which is applicable for most common scenarios, including feature fusion induced by short and long skip connections as well as within Inception layers. To better fuse features of inconsistent semantics and scales, we propose a multi-scale channel attention module, which addresses issues that arise when fusing features given at different scales. We also demonstrate that the initial integration of feature maps can become a bottleneck and that this issue can be alleviated by adding another level of attention, which we refer to as iterative attentional feature fusion. With fewer layers or parameters, our models outperform state-of-the-art networks on both CIFAR-100 and ImageNet datasets, which suggests that more sophisticated attention mechanisms for feature fusion hold great potential to consistently yield better results compared to their direct counterparts. Our codes and trained models are available online.

研究の動機と目的

• 現代のCNNにおける固定的・線形的な特徴統合（例：加算や連結）の限界、特に特徴間の意味的・スケール的一致性の欠如を解消するため。
• 同じレイヤー内、短距離スキップ、長距離スキップ接続といった多様な特徴統合の状況を、一貫した注意に基づくフレームワークで統一するため。
• 注意重み付けの前に行われる単純な初期統合が、性能のボトルネックを引き起こす原因であることを特定し、その解決を図るため。
• マルチスケールチャネル注意を組み込むことで文脈の集約を向上させ、グローバル文脈に偏るのを軽減し、小サイズオブジェクトの特徴表現を強化するため。
• 洗練された特徴統合メカニズムが、より深くまたは広いネットワークでさえも、パrameter数を大幅に減らしながらも性能を上回ることを示すため。

提案手法

• グローバルおよびローカルなチャネルコンテキストを統合することで、より強固な注意重みを生成するマルチスケールチャネル注意モジュールを提案。
• Inception、ResNet、FPNアーキテクチャにおける標準的な統合演算（例：加算や連結）の代わりに、即座に挿入可能な「Attentional Feature Fusion (AFF)」モジュールを導入。
• 初期特徴統合をもう一度注意メカニズムで精錬することで、統合品質を向上させる反復的注意特徴統合（iAFF）メカニズムを設計。
• 意味的およびスケール的一致性に基づき、入力特徴に動的重みを割り当てる学習可能なゲーティング機構を採用し、適応的統合を実現。
• グローバル統計とローカルコンテキストの2本のアテンションヘッドを設計し、これらを統合することでスケールに敏感な注意マップを生成。
• モジュラーなアプローチにより、アーキテクチャの大幅な見直しを伴わずに、既存のネットワークにAFFおよびiAFFモジュールを統合可能。

実験結果

リサーチクエスチョン

• RQ1 Inception、ResNet、FPNといった多様なCNNアーキテクチャにわたる特徴統合を、統一的かつ注意に基づいたフレームワークが効果的に処理できるか？
• RQ2 注意メカニズムにマルチスケールコンテキストを組み込むことで、特にサイズの異なるオブジェクトの特徴統合品質が向上するか？
• RQ3 注意に基づく統合における初期統合が重要なボトルネックを引き起こしており、反復的注意によってその問題を緩和できるか？
• RQ4 より洗練された統合メカニズムは、パrameter数を大幅に減らしながらも、より深くまたは広いネットワークを凌駆することができるか？
• RQ5 注意に基づく統合は、異なるデータセットおよびネットワークの深さにおいて一貫した性能向上をもたらすか？

主な発見

• iAFF-ResNet-50 は ImageNet でトップ-1誤差 20.4% を達成し、Gather-Excite-θ⁺-ResNet-101（20.7%）を上回りながらも、パラメータ数の60%にまで削減した。
• iAFF-ResNeXt-50-32x4d は ImageNet でトップ-1誤差 20.2% を達成し、より少ないパラメータ予算でSOTAモデルを上回った。
• CIFAR-100では、AFFおよびiAFFが、さまざまなネットワーク深さにおいてベースラインネットワークや他の注意モジュール（例：SKNet、SENet）を一貫して上回った。
• 単純な加算や連結をAFFまたはiAFFに置き換えることで、同等の性能を達成するためのパラメータ数が削減された。例：iAFF-ResNet（b=2）は、パラメータ数を54%削減しながらも、ベースラインResNet（b=4）と同等の性能を達成した。
• アブレーションスタディの結果、マルチスケールコンテキストの集約と初期統合の反復的精錬が、統合品質および最終的な精度を顕著に向上させた。
• 結果から、特徴統合の品質がネットワーク性能において重要な要因であり、注意に基づく統合がさまざまなデータセットおよびアーキテクチャで一貫した向上をもたらすことが示された。