[論文レビュー] SpatialFlow: Bridging All Tasks for Panoptic Segmentation

Qiang Chen, Anda Cheng+3 more|arXiv (Cornell University)|Oct 19, 2019

Advanced Neural Network Applications参考文献 73被引用数 10

ひとこと要約

本稿では、物体検出、ものセグメンテーション、ものでないセグメンテーションを空間的情報の流れを通じて統合する位置認識型フレームワークであるSpatialFlowを提案する。タスク固有のサブネットワークと特徴の相互接合を用いて、ボックス回帰からセグメンテーションヘッドへの空間的文脈の転送を実現し、COCOで47.9 PQ、Cityscapesで62.5 PQの最先端性能を達成した。

ABSTRACT

Object location is fundamental to panoptic segmentation as it is related to all things and stuff in the image scene. Knowing the locations of objects in the image provides clues for segmenting and helps the network better understand the scene. How to integrate object location in both thing and stuff segmentation is a crucial problem. In this paper, we propose spatial information flows to achieve this objective. The flows can bridge all sub-tasks in panoptic segmentation by delivering the object's spatial context from the box regression task to others. More importantly, we design four parallel sub-networks to get a preferable adaptation of object spatial information in sub-tasks. Upon the sub-networks and the flows, we present a location-aware and unified framework for panoptic segmentation, denoted as SpatialFlow. We perform a detailed ablation study on each component and conduct extensive experiments to prove the effectiveness of SpatialFlow. Furthermore, we achieve state-of-the-art results, which are $47.9$ PQ and $62.5$ PQ respectively on MS-COCO and Cityscapes panoptic benchmarks. Code will be available at https://github.com/chensnathan/SpatialFlow.

研究の動機と目的

• パノプティックセグメンテーションにおける物体検出とセグメンテーションタスクの統合不足、特に空間的情報の未利用に取り組む。
• ものとものでないセグメンテーションの間の関係を無視する独立型またはヒューリスティックなポストプロセッシングパイプラインの限界を克服する。
• 物体検出からものセグメンテーションおよびものでないセグメンテーションのサブタスクへの空間的情報の流れを可能にする統一フレームワークを構築する。
• 明示的な特徴伝搬により、両サブタスクが物体の位置を認識できるようにすることで、セグメンテーションの精度を向上させる。
• 精度と推論速度のバランスを保ちつつ、ベンチマーク全体にわたる強力な汎化性能を維持する。

提案手法

• 各タスク固有のヘッドを備えた4つの並列サブネットワーク（ボックス回帰、分類、ものセグメンテーション、ものでないセグメンテーション）を設計し、特徴フォーマットの違いを保持する。
• ボックス回帰ヘッドから分類、ものセグメンテーション、ものでないセグメンテーションヘッドへの空間的情報の流れを導入する。
• 特徴の相互接合を用いて、空間的情報をセグメンテーションヘッドに統合し、局所化精度と境界認識を向上させる。
• インスタンスレベルの特徴表現を避けるために、バックボーンにRetinaNetを採用し、ものでないセグメンテーションのためのピクセルレベルの空間的情報を保持する。
• CAM可視化を用いて注目マップを分析し、空間的流れが物体に焦点を当てるのを向上させ、正確な境界検出を促進することを検証する。
• 除去実験を実施し、空間的流れおよび特徴統合戦略の貢献度を評価する。

実験結果

リサーチクエスチョン

• RQ1 物体検出からの空間的情報を、パノプティックセグメンテーションにおけるものセグメンテーションおよびものでないセグメンテーションの両方を向上させるために、どのように効果的に転送できるか？
• RQ2 明示的な空間的情報の流れが、統一されたパノプティックセグメンテーションフレームワークの性能に与える影響は何か？
• RQ3 空間的情報統合は、パノプティックセグメンテーションに加え、独立した物体検出モデルの性能向上にも寄与できるか？
• RQ4 バックボーンの選択（例：1段階型対2段階型）が、セグメンテーションタスクにおける空間的情報の保持と活用に与える影響は何か？
• RQ5 実世界のビジョンシステムにおいて、空間的流れを用いる際の精度と推論速度のトレードオフは何か？

主な発見

• SpatialFlowは、COCOテストデベロップメントで47.9 PQ、Cityscapesバリデーションスプリットで62.5 PQを達成し、新たな最先端性能を樹立した。
• 空間的流れを導入した結果、ベースライン（分類ヘッドからの単純な特徴統合を採用）と比較して、PQが0.7向上、PQ_Thが0.8向上、PQ_Stが0.5向上した。
• 入力サイズ400pxで19.6 FPSを維持しながら37.4 PQを達成し、精度と速度のバランスが良好であることが示された。
• 空間的流れの導入により、物体検出性能も向上：COCOでmAPが35.6から36.7に、AP_75が37.7から39.4に上昇した。
• CAM可視化の結果、空間的流れがものブランチにおける物体への注目を強化し、ものでないブランチにおける境界認識を向上させていることが確認された。
• 除去実験の結果、特徴の連結や要素ごとの加算よりも、空間的流れがタスク間特徴統合においてより効果的であることが示された。