[論文レビュー] AttaNet: Attention-Augmented Network for Fast and Accurate Scene Parsing

Qi Song, Kangfu Mei+1 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Neural Network Applications参考文献 41被引用数 4

ひとこと要約

AttaNet は、垂直および水平ストライプに基づく注目メカニズムを用いて計算コストを低減しつつグローバルなコンテキストを捉えるストライプ注目モジュール（SAM）と、マルチレベル特徴を知的に統合する注目統合モジュール（AFM）を導入した、リアルタイムシーン解析に適した軽量で効率的なニューラルネットワークである。最先端の速度・精度トレードオフを達成し、Cityscapes では 180 FPS で 70.1% の mIoU を達成し、ADE20K では 43.71% の mIoU を記録したが、従来手法と比較して顕著に少ない FLOPs を実現した。

ABSTRACT

Two factors have proven to be very important to the performance of semantic segmentation models: global context and multi-level semantics. However, generating features that capture both factors always leads to high computational complexity, which is problematic in real-time scenarios. In this paper, we propose a new model, called Attention-Augmented Network (AttaNet), to capture both global context and multilevel semantics while keeping the efficiency high. AttaNet consists of two primary modules: Strip Attention Module (SAM) and Attention Fusion Module (AFM). Viewing that in challenging images with low segmentation accuracy, there are a significantly larger amount of vertical strip areas than horizontal ones, SAM utilizes a striping operation to reduce the complexity of encoding global context in the vertical direction drastically while keeping most of contextual information, compared to the non-local approaches. Moreover, AFM follows a cross-level aggregation strategy to limit the computation, and adopts an attention strategy to weight the importance of different levels of features at each pixel when fusing them, obtaining an efficient multi-level representation. We have conducted extensive experiments on two semantic segmentation benchmarks, and our network achieves different levels of speed/accuracy trade-offs on Cityscapes, e.g., 71 FPS/79.9% mIoU, 130 FPS/78.5% mIoU, and 180 FPS/70.1% mIoU, and leading performance on ADE20K as well.

研究の動機と目的

• セマンティックセグメンテーションにグローバルコンテキストとマルチレベルの意味的特徴を適用する際の高い計算コストを解消すること。
• 注目メカニズムの FLOPs を削減することで、精度を損なわずリアルタイム推論を実現すること。
• 完全な自己注意ではなく方向性のストライプ化を用いることで、長距離依存関係を効率的に捉える効率的なモジュールの開発。
• 各画素ごとに特徴の重要度を重みづけする注目ベースの戦略を用いて、マルチレベル特徴を効果的に統合すること。
• 軽量から深層アーキテクチャまで多様なバックボーンネットワークとの互換性を確保し、性能向上を実現すること。

提案手法

• 自己注意の空間的複雑度を O(H×W×H×W) から O(H×W×W) に低減するストライプ注目モジュール（SAM）を導入し、方向性の長距離依存関係に焦点を当てる。
• 縦方向（列）または横方向（行）のストライプ化操作を用いて、グローバルコンテキストを列方向または行方向に符号化し、フェンスやポールなどのバンド状オブジェクトにおける構造的一致性を維持しながら計算量を削減する。
• 学習可能な注目重みを用いてクロスレベル特徴集約を実行する注目統合モジュール（AFM）を提案し、各画素が異なるレベルの関連する特徴を動的に選択できるようにする。
• バックボーンの最後の2段階間でのみ AFM を適用することで、計算オーバーヘッドを最小限に抑えつつ、特徴表現の質を最大化する。
• プラグアンドプレイ型のネットワーク設計を採用し、ResNet50、ResNet101、ShuffleNetV2、DF1、DF2 など、さまざまなバックボーンネットワークへの統合を可能にする。
• 追加パラメータと FLOPs を最小限に抑えたクロスレベル集約アーキテクチャを採用し、性能に妥協を来さずに高い効率性を実現する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションにおけるグローバルコンテキストモデリングの計算コストを低減する、より効率的な注目メカニズムを設計できるか？
• RQ2 顕著な計算オーバーヘッドを伴わず、マルチレベル特徴を効果的に統合できるか？
• RQ3 方向性のストライプ化操作は、長距離依存関係モデリングを向上させるとともに、セグメンテーションにおける構造的詳細を保持できるか？
• RQ4 提案された注目ベースの統合戦略は、単純な連結や要素ごとの加算に比べて、マルチレベル特徴統合において優れた性能を示すか？
• RQ5 提案されたモジュールは、軽量ネットワークから深層ネットワークまで多様なバックボーンアーキテクチャに一般化可能か？

主な発見

• AttaNet は Cityscapes で 180 FPS と 70.1% の mIoU を達成し、優れた速度・精度トレードオフを示した。
• Cityscapes では、130 FPS で 78.5% の mIoU、71 FPS で 79.9% の mIoU を達成し、多くの既存手法を速度および精度の両面で上回った。
• ResNet50 を用いた場合、mIoU を 73.4% から 81.2% に向上させたが、FLOPs の増加はわずか 3.2% にとどまり、高い効率性を示した。
• ADE20K では、わずか 150.5 GFLOPs で 43.71% の mIoU を達成し、より高い FLOPs を要するモデルに比べ顕著に優れた性能を示した。
• SAM は非局所ブロックに比べ 94.5%、CCNet の RCCA モジュールに比べ 60.8% の FLOPs 削減を達成し、同等またはより優れたセグメンテーション品質を維持した。
• AFM は計算量のわずかな増加で最も優れた性能を達成し、マルチレベル特徴統合に非常に効果的であることが実証された。