[論文レビュー] ACFNet: Attentional Class Feature Network for Semantic Segmentation

Fan Zhang, Yanqin Chen+6 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Neural Network Applications参考文献 44被引用数 45

ひとこと要約

ACFNetはクラス中心の文脈とAttentional Class Featureモジュールを導入し、クラスレベルの文脈を粗→細のセグメンテーションフレームワークに適応的に融合することで、細データのみでCityscapesの最先端のmIoUを達成します。

ABSTRACT

Recent works have made great progress in semantic segmentation by exploiting richer context, most of which are designed from a spatial perspective. In contrast to previous works, we present the concept of class center which extracts the global context from a categorical perspective. This class-level context describes the overall representation of each class in an image. We further propose a novel module, named Attentional Class Feature (ACF) module, to calculate and adaptively combine different class centers according to each pixel. Based on the ACF module, we introduce a coarse-to-fine segmentation network, called Attentional Class Feature Network (ACFNet), which can be composed of an ACF module and any off-the-shell segmentation network (base network). In this paper, we use two types of base networks to evaluate the effectiveness of ACFNet. We achieve new state-of-the-art performance of 81.85% mIoU on Cityscapes dataset with only finely annotated data used for training.

研究の動機と目的

• セグメンテーションにおけるグローバルでカテゴリ的な文脈としてクラスレベルの文脈（クラス中心）を活用する動機づけ。
• Attentional Class Feature (ACF)モジュールを提案し、ピクセルごとにクラス中心を適応的に結合する。
• ACFを任意のベースセグメンテーションモデルと統合して、粗から細へのネットワーク（ACFNet）を構築する。
• クラスレベルの文脈がCityscapesでのセグメーション性能を向上させることを示す。
• 細手書きデータのみでACFNetが最先端の結果を達成することを示す。

提案手法

• クラス中心を、画像内のあるクラスに属するすべてのピクセルの特徴の平均として定義する。
• 粗いセグメンテーションマップを用いてピクセル寄与度を加重するようにクラス中心を計算する。
• 粗いクラス確率でクラス中心を重み付けして、ピクセルごとにアテンショナルなクラス特徴を生成するClass Attention Blockを導入する。
• アテンショナルなクラス特徴を結合と1x1畳み込みを通じてベースネットワークの特徴と融合させ、最終的なセグメンテーションを生成する。
• 粗いセグメンテーションと細いセグメンテーションの目的をバランスさせる多-term損失と補助監督を用いて訓練する。
• ResNet-101およびResNet-101+ASPPへACFモジュールを適用することで互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 クラスレベルの文脈（クラス中心）は意味的セグメンテーションにおけるピクセルごとのラベリングに有用なグローバル手掛かりを提供できるか？
• RQ2 粗いセグメンテーションに導かれたクラス中心上のアテンショナル機構は最終的なセグメンテーション精度を向上させるか？
• RQ3 提案手法のACFNetは異なるベースセグメンテーションアーキテクチャに対して有効か？
• RQ4 粗→細統合と補助損失がCityscapesの性能に与える影響は何か？

主な発見

• クラス中心とアテンションを用いたACFモジュールはCityscapesでベースラインよりmIoUを改善する。
• ACF(sum)およびACF(concat)戦略は単純なクラス中心拡張を上回り、細いセグメンテーションで著しい改善をもたらす。
• ResNet-101+ASPPにACFを適用すると大幅な性能向上を達成し、例としてASPPベースラインで1.7%の向上。
• ACFNetはCityscapesでtrain-fineデータのみを用いて81.85%のmIoUで最先端を達成（MS/Flipとオンラインブートストラッピングの追加ブーストを含む）。
• アブレーション解析はクラス中心と注意的融合が有意な性能向上に寄与し、より識別力のある特徴表現を生み出すことを示す。