[論文レビュー] UPSNet: A Unified Panoptic Segmentation Network

Yuwen Xiong, Renjie Liao+5 more|arXiv (Cornell University)|Jan 12, 2019

Advanced Neural Network Applications参考文献 41被引用数 18

ひとこと要約

UPSNetは、共有バックボーンと2つの軽量ヘッドを介して、セマンティックおよびインスタンスセグメンテーションを統合的に予測する統一されたパノプティックセグメンテーションネットワークを提案する。パrameter-freeなパノプティックヘッドにより未知クラスを導入し、衝突を解消することでエンドツーエンド学習を可能にし、Cityscapes、COCO、および社内ドライブデータセットにおいて最先端の性能と高速な推論を達成する。

ABSTRACT

In this paper, we propose a unified panoptic segmentation network (UPSNet) for tackling the newly proposed panoptic segmentation task. On top of a single backbone residual network, we first design a deformable convolution based semantic segmentation head and a Mask R-CNN style instance segmentation head which solve these two subtasks simultaneously. More importantly, we introduce a parameter-free panoptic head which solves the panoptic segmentation via pixel-wise classification. It first leverages the logits from the previous two heads and then innovatively expands the representation for enabling prediction of an extra unknown class which helps better resolve the conflicts between semantic and instance segmentation. Additionally, it handles the challenge caused by the varying number of instances and permits back propagation to the bottom modules in an end-to-end manner. Extensive experimental results on Cityscapes, COCO and our internal dataset demonstrate that our UPSNet achieves state-of-the-art performance with much faster inference. Code has been made available at: https://github.com/uber-research/UPSNet

研究の動機と目的

• パノプティックセグメンテーションのための、セマンティックおよびインスタンスセグメンテーションを統合した1つのエンドツーエンド学習可能なフレームワークを構築すること。
• パrameter-freeなパノプティックヘッドに未知クラスを導入することで、セマンティックおよびインスタンスセグメンテーションの予測の衝突を解消すること。
• 1枚の画像あたりのインスタンス数が異なる場合でも、バックプロパゲーションを全ネットワークに伝搬できるようにすること。
• 先行手法よりも高速な推論を実現しつつ、最先端の性能を達成すること。

提案手法

• セマンティックおよびインスタンスセグメンテーションの両方のための共有特徴を抽出するために、1つの残差バックボーンネットワークを用いる。
• マルチスケールのコンテキストを捉えるために、特徴マップピラミッド（FPN）を用いた可変畳み込みベースのセマンティックセグメンテーションヘッドを採用する。
• ボクシングボックス、クラス、マスクの予測を実行する、Mask R-CNNスタイルのインスタンスセグメンテーションヘッドを導入する。
• セマンティックおよびインスタンスヘッドからのログチットを用いて、ピクセル単位の分類を実行するパrameter-freeなパノプティックヘッドを導入し、追加の未知クラスチャンネルを含める。
• インスタンス数が画像ごとに異なる場合でも、パノプティックヘッドを通じたバックプロパゲーションを可能にすることで、エンドツーエンド学習を実現する。
• 損失バランス化と、新しいRoI損失を適用して、学習の安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 共有表現学習を用いた統一されたネットワークアーキテクチャは、パノプティックセグメンテーションにおけるセマンティックおよびインスタンスセグメンテーションを効果的に統合できるか？
• RQ2 微分可能でエンドツーエンドの方法で、セマンティックおよびインスタンスセグメンテーションの予測の衝突をどのように解消できるか？
• RQ3 パノプティックヘッドに未知クラスを導入することで、予測の一貫性と性能にどのような影響を与えるか？
• RQ4 パrameter-freeなパノプティックヘッドは、ポストプロセッシングや2段階アプローチと比較して、精度と推論速度の面で優れているか？
• RQ5 パノプティックヘッドを介したバックプロパゲーションを含むエンドツーエンド学習は、全体の性能をどの程度向上させるか？

主な発見

• COCOにおいて、UPSNetは完全な訓練で46.7のPQスコアを達成し、先行手法を顕著に上回った。
• アブレーションスタディの結果、パノプティックヘッドを学習させることで、ポストプロセッシングと比較してPQが0.5ポイント向上した。
• 損失バランス化を導入することでPQが0.1ポイント向上し、学習の安定性においてその重要性が示された。
• RoI損失を用いて未知クラスを予測することで、PQ^Stが0.5ポイント向上し、曖昧領域の処理が改善されたことが示された。
• オラクル実験の結果、セマンティックセグメンテーションが最大のボトルネックであることが判明し、GTセマンティックラベルを用いることで+29.5のPQ向上が得られた。これは、このコンponentにおける改善の余地が大きいことを示している。
• Cityscapes、COCO、および社内の大規模ドライブデータセットにおいて、最新の競合手法よりも顕著に高速な推論を実現しながら、最先端の性能を達成した。