[論文レビュー] Vortex Pooling: Improving Context Representation in Semantic Segmentation

Chen-Wei Xie, Hong-Yu Zhou+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Neural Network Applications参考文献 23被引用数 34

ひとこと要約

本稿では、近くの文脈的特徴を細粒度プーリングで、遠くの特徴を粗粒度プーリングで優先的に扱うことで特徴表現を強化する、セマンティックセグメンテーション向けの新規コンテキスト集約モジュール、Vortex Poolingを提案する。DeepLab v3のASPPモジュールを置き換えることで、PASCAL VOC 2012 の検証セットで84.2%のmIoU、テストセットで86.3%のmIoUを達成し、それぞれDeepLab v3を1.5%および0.6%上回る性能を発揮した。推論速度は10.13 FPSと同等の速さを維持した。

ABSTRACT

Semantic segmentation is a fundamental task in computer vision, which can be considered as a per-pixel classification problem. Recently, although fully convolutional neural network (FCN) based approaches have made remarkable progress in such task, aggregating local and contextual information in convolutional feature maps is still a challenging problem. In this paper, we argue that, when predicting the category of a given pixel, the regions close to the target are more important than those far from it. To tackle this problem, we then propose an effective yet efficient approach named Vortex Pooling to effectively utilize contextual information. Empirical studies are also provided to validate the effectiveness of the proposed method. To be specific, our approach outperforms the previous state-of-the-art model named DeepLab v3 by 1.5% on the PASCAL VOC 2012 val set and 0.6% on the test set by replacing the Atrous Spatial Pyramid Pooling (ASPP) module in DeepLab v3 with the proposed Vortex Pooling. Moreover, our model (10.13FPS) shares similar computation cost with DeepLab v3 (10.37 FPS).

研究の動機と目的

• 完全畳み込みネットワークにおける既存のコンテキスト集約モジュールの限界、すなわち適切な粒度で近くの特徴と遠くの特徴を効果的に活用できない点を解決すること。
• 計算コストを著しく増加させることなく、コンテキスト表現を強化することでセマンティックセグメンテーションの性能を向上させること。
• ターゲットピクセルに近い特徴に高い注目を割り当てるが、効率的な計算を維持するプーリング機構を開発すること。
• DeepLab v3のAtrous Spatial Pyramid Pooling (ASPP) モジュールを、より効果的なコンテキスト集約戦略に置き換えること。
• 推論速度をDeepLab v3と同等に保ちながら、PASCAL VOC 2012で最先端の性能を達成すること。

提案手法

• ターゲットピクセルからの空間的距離に応じて異なるプーリング戦略を適用する、マルチスケール・マルチ受容野プーリングモジュールであるVortex Poolingを提案する。
• ターゲットピクセルに近い特徴に対しては小スケールの平均プーリングを用い、細粒度で詳細なコンテキストを捉える。
• 遠くの特徴に対しては大スケールの平均プーリングを用い、粗粒度だがグローバルなコンテキスト情報を得る。
• 特徴抽出用のモジュールAとコンテキスト集約用のモジュールBを設計し、さらに最適化され高速化されたバージョンとしてモジュールCを提案する。
• バックボーン（ResNet-101）と学習プロトコルを維持したまま、DeepLab v3フレームワークにVortex Poolingを統合し、ASPPモジュールを置き換える。
• MS COCOおよびPASCAL VOC 2012データセットを用いて学習し、公式のPASCAL VOC 2012トレーニングセットでデータオーグメンテーションとファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 空間的に遠く離れた特徴と近くの特徴をより効果的に活用することで、セマンティックセグメンテーションにおけるコンテキスト表現をどのように改善できるか？
• RQ2 近い特徴と遠い特徴を区別するプーリング機構は、標準的なAtrous Spatial Pyramid Poolingを上回る性能を発揮できるか？
• RQ3 細粒度プーリングを近隣特徴に、粗粒度プーリングを遠方特徴に適用する階層的プーリング戦略は、より高いセグメンテーション精度をもたらすか？
• RQ4 このようなモジュールは、推論時間を著しく延長せずに効率的に実装可能か？
• RQ5 Vortex Poolingは、PASCAL VOC 2012といった標準ベンチマークで、最先端のモデルと比較してどの程度性能向上を達成できるか？

主な発見

• Vortex PoolingはPASCAL VOC 2012の検証セットで84.2%の平均交差率（mIoU）を達成し、DeepLab v3を1.5ポイント上回った。
• PASCAL VOC 2012のテストセットでは86.3%のmIoUを達成し、DeepLab v3の結果を0.6%上回った。
• 提案手法は高い推論効率を維持しており、単一のNVIDIA TITAN Xp GPUで10.13 FPSを達成し、DeepLab v3の10.37 FPSと同等の速度であった。
• モデルはPSPNet（85.4% mIoU）やResNet-38_MS_COCO（84.9% mIoU）といった以前の最先端手法を、テストセットで上回った。
• 可視化結果から、特に複雑なシーンにおいて椅子やテーブルのような困難なオブジェクトの認識が向上していることが示された。
• アブレーションスタディにより、細粒度および粗粒度プーリングの両方が性能向上に寄与しており、空間的に適応的なコンテキスト集約の設計原理が妥当であることが確認された。