[論文レビュー] CAA : Channelized Axial Attention for Semantic Segmentation.

Ye Huang, Wenjing Jia+4 more|arXiv (Cornell University)|Jan 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 6

ひとこと要約

本稿では、受容 field 全体におけるチャネル重要度を最適化するために、転置ドット積 attention マップをチャネル化することで、チャネルと軸方向 attention を滑らかに統合する、新しい attention 機構であるチャネル化軸方向 attention (CAA) を提案する。CAA は計算複雑性を低減しながら、Cityscapes、PASCAL Context、COCO-Stuff において、ResNet-101 よりも顕著に低いリソース使用量で最先端のモデルを上回る性能を達成する。

ABSTRACT

Self-attention and channel attention, modelling thesemantic interdependencies in spatial and channel dimensionsrespectively, have recently been widely used for semantic seg-mentation. However, computing spatial-attention and channelattention separately and then fusing them directly can causeconflicting feature representations. In this paper, we proposethe Channelized Axial Attention (CAA) to seamlessly integratechannel attention and axial attention with reduced computationalcomplexity. After computing axial attention maps, we propose tochannelize the intermediate results obtained from the transposeddot-product so that the channel importance of each axial repre-sentation is optimized across the whole receptive field. We furtherdevelop grouped vectorization, which allows our model to be runwith very little memory consumption at a speed comparableto the full vectorization. Comparative experiments conductedon multiple benchmark datasets, including Cityscapes, PASCALContext and COCO-Stuff, demonstrate that our CAA not onlyrequires much less computation resources compared with otherdual attention models such as DANet, but also outperformsthe state-of-the-art ResNet-101-based segmentation models on alltested datasets.

研究の動機と目的

• 既存の二重 attention 機構で、空間的およびチャネル attention を別々に計算・統合することで生じる矛盾する特徴表現を是正すること。
• 性能を損なわず、セマンティックセグメンテーションにおける二重 attention 機構の計算複雑性を低減すること。
• グループ化されたベクトル化を用いて効率的な推論を実現し、メモリ消費量を最小限に抑えつつ、速度を維持すること。
• 軸方向 attention の中間表現をチャネル化することで、受容 field 全体にわたるチャネル重要度を最適化すること。

提案手法

• 一つの軸に沿った空間的依存関係を抽出するために軸方向 attention を適用し、その後、転置ドット積 attention を用いて中間特徴マップを生成する。
• 受容 field 全体にわたるチャネル重要度を最適化することで、中間 attention マップをチャネル化し、特徴表現を向上させる。
• 推論中のメモリ消費量を低減するためにグループ化されたベクトル化を導入し、フルベクトル化と同等の速度を維持する。
• 直接統合を避けることで、チャネルと軸方向 attention を滑らかに統合し、表現の衝突を回避する。
• 軸方向 attention からのグローバルコンテキストに基づいて、チャネルごとの attention 重みを学習可能なメカニズムで精緻化する。

実験結果

リサーチクエスチョン

• RQ1 空間的およびチャネル attention を別々に計算し、直接統合するのではなく、より効果的に統合できるか？
• RQ2 軸方向 attention マップをチャネル化することで、特徴表現の向上と計算コストの低減が達成できるか？
• RQ3 グループ化されたベクトル化は、メモリ使用量を最小限に抑えつつ、性能を維持する効率的な推論を可能にするか？
• RQ4 提案された CAA 機構は、精度と効率の両面で、既存の二重 attention モデルを上回るか？

主な発見

• CAA は、Cityscapes、PASCAL Context、COCO-Stuff ベンチマークで最先端の性能を達成し、ResNet-101 を基盤とするモデルを上回る。
• DANet などの二重 attention モデルと比較して、CAA は顕著に少ない計算リソースを要するため、より高い効率性を示す。
• グループ化されたベクトル化の導入により、推論時におけるメモリ消費量が低減され、フルベクトル化と同等の速度を維持できる。
• 軸方向 attention マップのチャネル化により、受容 field 全体にわたるより一貫性があり最適化された特徴表現が得られる。