[論文レビュー] SPGNet: Semantic Prediction Guidance for Scene Parsing

Bowen Cheng, Liang-Chieh Chen+7 more|arXiv (Cornell University)|Aug 26, 2019

Human Pose and Action Recognition参考文献 78被引用数 35

ひとこと要約

SPGNetは、ピクセル単位の意味監督を介して局所特徴を再重み付けするSemantic Prediction Guidance (SPG)モジュールを2段階のエンコーダ-デコーダネットワーク内に導入し、Cityscapesで高い効率とともに強力な結果を達成します。

ABSTRACT

Multi-scale context module and single-stage encoder-decoder structure are commonly employed for semantic segmentation. The multi-scale context module refers to the operations to aggregate feature responses from a large spatial extent, while the single-stage encoder-decoder structure encodes the high-level semantic information in the encoder path and recovers the boundary information in the decoder path. In contrast, multi-stage encoder-decoder networks have been widely used in human pose estimation and show superior performance than their single-stage counterpart. However, few efforts have been attempted to bring this effective design to semantic segmentation. In this work, we propose a Semantic Prediction Guidance (SPG) module which learns to re-weight the local features through the guidance from pixel-wise semantic prediction. We find that by carefully re-weighting features across stages, a two-stage encoder-decoder network coupled with our proposed SPG module can significantly outperform its one-stage counterpart with similar parameters and computations. Finally, we report experimental results on the semantic segmentation benchmark Cityscapes, in which our SPGNet attains 81.1% on the test set using only 'fine' annotations.

研究の動機と目的

• 効率的なマルチステージアーキテクチャで意味セグメンテーションを動機づける。
• ピクセルレベルの意味予測に導かれて特徴を再重み付けするSPGモジュールを提案する。
• 境界と文脈の融合を向上させるためのマルチステージエンコーダ-デコーダネットワークを探索する。
• Cityscapesで評価し、精度と効率の向上を示す。
• SPG機構を説明するためのアブレーションと可視化を提供する。

提案手法

• 監視と励起のフレームワークを用いて第一段階の予測からGuided Attentionを生成するSPGモジュールを導入する。
• 後段段階を強化するため、Cross Stage Feature Aggregationを備えた2段階のエンコーダ-デコーダを使用する。
• 効率的な特徴融合のため、残差ブロックを用いた軽量なアップサンプルモジュールを設計する。
• 1x1畳み込みで画素ごと・チャンネルごとのマスクを生成してGuided Attentionを計算し、それに応じてデコーダ特徴を再重み付けする。
• 最終段階と中間段階のロジットからの損失で監督するよう訓練する。
• Cityscapesで最先端と比較し、広範なアブレーションと可視化を行う。

実験結果

リサーチクエスチョン

• RQ1 SPGモジュールは、ピクセル単位の意味予測に導かれる際、特徴の再重み付けとセグメンテーション精度を向上させるか。
• RQ2 類似のパラメータと計算量を持つ単一段階の counterparts より、SPGを備えた2段階のエンコーダ-デコーダが優るか。
• RQ3 CityscapesにおけるDenseASPPおよびDANetと比較したSPGNetの精度と効率はどうか。
• RQ4 SPGの構成要素（監督、アイデンティティマッピング、励起機構）が全体の性能に与える寄与は何か。
• RQ5 SPGと組み合わせた場合、マルチステージのエンコーダ-デコーダ網は意味セグメンテーションに有益か。

主な発見

手法	バックボーン	mIoU%	パラメータ	FLOPs (B)
DenseASPP	DenseNet-161	80.6	35.4 M	1240.1
DANet	ResNet-101	81.5	66.5 M	2878.9
SPGNet (Ours)	2× ResNet-50	81.1	59.8 M	654.8

• SPGNetはCityscapesテストで細標注のみを用いて81.1%のmean IoUを達成する。
• SPGNetはCityscapesテストでほとんどのクラスでDenseASPPを上回り、DANetの計算量のおよそ22.7%を使用する。
• ResNet-50バックボーンを用いた2段階SPGNetは、トップ手法の多くに比べてFLOPsとパラメータ数が著しく低く、強い精度を達成する。
• アブレーションでは、監督付きのシグモイドベースのSPG励起とアイデンティティ経路が最良のmIoUをもたらす（ResNet-18での検証データ77.67%）。
• Guided Attentionマップは解釈可能な再重み付けを提供し、類似クラス間の物体局在化と識別を可視化する。