[論文レビュー] Real-time Semantic Segmentation with Fast Attention

Ping Hu, Federico Perazzi+5 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Neural Network Applications参考文献 58被引用数 6

ひとこと要約

本稿では、線形計算コストで長距離の文脈的依存関係を効率的に捉えることのできる新規な高速空間注意メカニズムを用いた、リアルタイムなセマンティックセグメンテーションモデルであるFast Attention Network (FANet) を提案する。このモデルは、高解像度の画像および動画において高い精度を達成可能であり、Cityscapesで72 FPSで75.5%のmIoUを達成し、先行手法と比較して約50%の高速化を実現しながら、最先端の精度を維持している。

ABSTRACT

In deep CNN based models for semantic segmentation, high accuracy relies on rich spatial context (large receptive fields) and fine spatial details (high resolution), both of which incur high computational costs. In this paper, we propose a novel architecture that addresses both challenges and achieves state-of-the-art performance for semantic segmentation of high-resolution images and videos in real-time. The proposed architecture relies on our fast spatial attention, which is a simple yet efficient modification of the popular self-attention mechanism and captures the same rich spatial context at a small fraction of the computational cost, by changing the order of operations. Moreover, to efficiently process high-resolution input, we apply an additional spatial reduction to intermediate feature stages of the network with minimal loss in accuracy thanks to the use of the fast attention module to fuse features. We validate our method with a series of experiments, and show that results on multiple datasets demonstrate superior performance with better accuracy and speed compared to existing approaches for real-time semantic segmentation. On Cityscapes, our network achieves 74.4$\%$ mIoU at 72 FPS and 75.5$\%$ mIoU at 58 FPS on a single Titan X GPU, which is~$\sim$50$\%$ faster than the state-of-the-art while retaining the same accuracy.

研究の動機と目的

• セマンティックセグメンテーションにおける高精度とリアルタイム推論のトレードオフを解消するため、豊富な空間的文脈と微細な詳細を効率的に捉えること。
• 深層ネットワークにおける自己注意機構の計算コストを、空間的・文脈的情報を損なわずに低減すること。
• 入力画像のダウンスケーリングではなく、中間特徴マップへの空間的リダクションを適用することで、高解像度の入力をリアルタイムで処理可能にすること。
• 計算コストが時間窓サイズに依存せず一定であるように、高速注意メカニズムを動画セマンティックセグメンテーションに拡張し、空間的・時間的文脈を効率的にモデル化すること。

提案手法

• 自己注意におけるソフトマックス正規化をコサイン類似度に置き換える高速空間注意モジュールを導入し、計算量をO(n²c)からO(nc²)に低減する。
• 行列乗算の結合則を活用して注意マップを効率的に計算し、n ≫ cの場合に標準的な自己注意と比較して約n/cの高速化を達成する。
• 入力画像のダウンスケーリングではなく、中間特徴マップへの空間的リダクションを適用することで、高解像度の空間的詳細を保持しながらFLOPsを削減する。
• 最終予測のための文脈的特徴と詳細特徴を統合するために、深層から浅層の段階へと段階的に特徴マップを融合する戦略を採用する。
• 時間窓サイズに依存せず計算コストが一定であるように、高速注意メカニズムを動画入力に拡張し、空間的・時間的文脈を効率的にモデル化する。
• 速度と精度のトレードオフに最適化されたFANet-18およびFANet-34バージョンを備えた軽量なエンコーダ・デコーダアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムなセマンティックセグメンテーションのため、計算コストを著しく低減しつつ豊富な空間的文脈を維持できるように、注意メカニズムをどのように変更できるか？
• RQ2 FLOPsを増加させずに、リアルタイムモデルで高解像度の空間的詳細をどのように保持できるか？
• RQ3 入力画像のダウンスケーリングと比較して、中間特徴マップへの空間的リダクションが、精度と効率の両面で優れているか？
• RQ4 高速注意メカニズムを、計算コストの増加を最小限に抑えて動画セグメンテーションに拡張できるか？
• RQ5 高速注意と空間的リダクションを組み合わせることで、リアルタイムセマンティックセグメンテーションにおける速度と精度の両面で最先端の性能が達成できるか？

主な発見

• FANetは、1台のTitan X GPUを用いて、Cityscapesで72 FPSで74.4%のmIoU、58 FPSで75.5%のmIoUを達成し、先行する最先端手法と比較して推論速度で約50%高速化している。
• CamVidでは、FANet-18が142 FPSで29.5%のmIoUを達成し、BiseNetおよびICNetと比較して精度と速度の両面で優れている。
• COCO-Stuffでは、FANet-34が640×640解像度で142 FPSで29.5%のmIoUを達成し、ICNetを精度と速度の両面で上回っている。
• 高速注意の空間的・時間的拡張（FANet+Temp）は、Cityscapes動画で58 FPSで76.7%のmIoUを達成し、PEARLより40倍高速、Netwarpより200倍高い効率を実現している。
• FANet-18+Tempは、平均72 FPSで14msの平均推論時間（低遅延）を達成し、高いスループットを実現している。
• アブレーションスタディの結果、高速注意と中間特徴マップのリダクションを組み合わせることで、FLOPsを削減しながらも精度を維持でき、高解像度入力処理に有効であることが確認された。