[論文レビュー] Strip Pooling: Rethinking Spatial Pooling for Scene Parsing

Qibin Hou, Li Zhang+2 more|arXiv (Cornell University)|Mar 30, 2020

Advanced Neural Network Applications参考文献 65被引用数 43

ひとこと要約

導入された strip pooling（1xN または Nx1 カーネル）と 2 つのモジュール（Strip Pooling Module と Mixed Pooling Module）により長距離の文脈情報と多様な文脈を捉え、ADE20K、Cityscapes、Pascal Context で最先端の結果を達成。

ABSTRACT

Spatial pooling has been proven highly effective in capturing long-range contextual information for pixel-wise prediction tasks, such as scene parsing. In this paper, beyond conventional spatial pooling that usually has a regular shape of NxN, we rethink the formulation of spatial pooling by introducing a new pooling strategy, called strip pooling, which considers a long but narrow kernel, i.e., 1xN or Nx1. Based on strip pooling, we further investigate spatial pooling architecture design by 1) introducing a new strip pooling module that enables backbone networks to efficiently model long-range dependencies, 2) presenting a novel building block with diverse spatial pooling as a core, and 3) systematically comparing the performance of the proposed strip pooling and conventional spatial pooling techniques. Both novel pooling-based designs are lightweight and can serve as an efficient plug-and-play module in existing scene parsing networks. Extensive experiments on popular benchmarks (e.g., ADE20K and Cityscapes) demonstrate that our simple approach establishes new state-of-the-art results. Code is made available at https://github.com/Andrew-Qibin/SPNet.

研究の動機と目的

• ピクセル単位のシーンパースにおける長距離コンテキストモデリングの改善を動機づけ、正方形プーリング形状を超える。
• 長距離依存を狭いカーネルで捉えるストリッププーリングを提案。
• セグメンテーションを強化するためにバックボーンへ組み込める軽量モジュール（SPM と MPM）を設計。

提案手法

• strip pooling を、行または列で平均化して長距離のバンド状コンテキストを形成する（1xW または Hx1 の窓）。
• 水平および垂直のストリッププーリング経路に続く 1D 畳み込みと、sigmoid によるスケール操作で特徴を融合する Strip Pooling Module (SPM) を開発。
• 短距離ピラミッド風プーリング経路と長距離ストリッププーリング経路を残差ボトルネック枠組みで組み合わせる Mixed Pooling Module (MPM) を導入。
• SPNet を構築するにあたり、バックボーンに SPM を統合し、ResNet バックボーンの上に MPM を積み重ねて特徴をセグメンテーション用に洗練。
• 既存のシーンパーシングネットワークに追加可能な軽量でプラグアンドプレイ設計を提供。

実験結果

リサーチクエスチョン

• RQ1 strip pooling は長距離文脈依存を捉える際、従来の正方形プーリングと比べてどうか。
• RQ2 軽量な SPM および MPM ブロックは、標準ベンチマークでパラメータのオーバーヘッドを抑えつつ精度を向上させられるか。
• RQ3 短距離と長距離のプーリング戦略を組み合わせることで、セグメンテーション性能にどのような影響が生じるか。

主な発見

Model	バックボーン	mIoU	ピクセル精度
Base FCN	ResNet-50	37.63	77.60%
Base FCN + 2 MPM (SRD + LRD)	ResNet-50	41.92	80.03%
Base FCN + 2 MPM + SPM	ResNet-50	44.03	80.65%
SPNet (Ours)	ResNet-50	45.03	81.32%

• SPNet は 2 MPM と SPM を用い、ResNet-50 バックボーンで 44.03% mIoU を達成（ピクセル精度 80.65%）。
• ResNet-101 では、SPNet が ADE20K で 45.60% mIoU および 82.09% ピクセル精度を達成（単一モデルテスト）。
• Cityscapes のテストセットで、ResNet-101 を用いた SPNet は 82.0% mIoU を達成し、いくつかの従来法を上回る。
• アブレーションにより、MPM における SRD（短距離依存）と LRD（長距離依存）の両方を組み合わせると、いずれか単独の場合よりも mIoU が向上し、SPM をバックボーンの戦略的配置で用いると大幅な利得が得られることが示された。
• Strip pooling は SPNet の設定で GAP を置換した場合よりも 44.03% mIoU に対して 41.34% の GAP より優れている。