[論文レビュー] SSAP: Single-Shot Instance Segmentation With Affinity Pyramid

Naiyu Gao, Yanhu Shan+5 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Image and Video Retrieval Techniques参考文献 50被引用数 30

ひとこと要約

本論文では、1回の順伝播でセマンティッククラスラベル付けとインスタンス認識特徴学習を共同で学習する、1ショットでプロポーザルフリーなインスタンスセグメンテーション手法SSAPを提案する。階層的ピクセルペア類似度パラメータピラミッドを用いることで、短距離および長距離の類似度を統合的に扱い、先行手法と比較して5倍の高速化と9%の相対的AP向上を達成し、Cityscapesで36.9%のPQを達成し、新たなSOTAを樹立した。

ABSTRACT

Recently, proposal-free instance segmentation has received increasing attention due to its concise and efficient pipeline. Generally, proposal-free methods generate instance-agnostic semantic segmentation labels and instance-aware features to group pixels into different object instances. However, previous methods mostly employ separate modules for these two sub-tasks and require multiple passes for inference. We argue that treating these two sub-tasks separately is suboptimal. In fact, employing multiple separate modules significantly reduces the potential for application. The mutual benefits between the two complementary sub-tasks are also unexplored. To this end, this work proposes a single-shot proposal-free instance segmentation method that requires only one single pass for prediction. Our method is based on a pixel-pair affinity pyramid, which computes the probability that two pixels belong to the same instance in a hierarchical manner. The affinity pyramid can also be jointly learned with the semantic class labeling and achieve mutual benefits. Moreover, incorporating with the learned affinity pyramid, a novel cascaded graph partition module is presented to sequentially generate instances from coarse to fine. Unlike previous time-consuming graph partition methods, this module achieves $5 imes$ speedup and 9% relative improvement on Average-Precision (AP). Our approach achieves state-of-the-art results on the challenging Cityscapes dataset.

研究の動機と目的

• セマンティックラベリングとインスタンスグループ化のための別々のモジュールを用いる従来のプロポーザルフリーなインスタンスセグメンテーション手法の非効率性と性能の劣化を是正すること。
• 2つのタスクの相互利益を活用するため、セマンティッククラス予測とインスタンス認識類似度計算を共同で学習可能にする。
• 低解像度から高解像度の特徴マップにおける階層的類似度を活用して、段階的グラフ分割モジュールを設計し、推論を高速化すること。
• 領域プロポーザルに依存せずに、Cityscapesのような困難なベンチマークで最先端の性能を達成すること。

提案手法

• ピクセルペア類似度パラメータピラミッドを提案し、2つのピクセルが同じインスタンスに属する確率を、短距離および長距離の類似度を用いて計算する。
• 短距離類似度には密な小さな受容 field を、長距離類似度には疎な低解像度特徴マップを用い、マルチスケールU-Net特徴から独立して処理する。
• 類似度ピラミッドとセマンティックセグメンテーション予測を統合的に最適化可能な、1つのバックボーンネットワークで統合する。
• 類似度からグラフを構築し、粗い解像度から細かい解像度へ段階的に予測を精緻化する段階的グラフ分割モジュールを導入する。
• 低層の高解像度予測を活用して高解像度でのグラフ分割におけるノード数を削減し、5倍の高速化を実現する。
• 下位解像度の結果からの信頼度を用いて、上位解像度のセグメンテーションをガイド・加速する、階層的でボトムアップのグラフ分割戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 プロポーザルフリーなインスタンスセグメンテーションにおいて、セマンティックセグメンテーションとインスタンス認識類似度計算の共同学習が性能向上に寄与するか？
• RQ2 階層的類似度ピラミッドは、インスタンスグループ化のためのピクセル間の局所的および長距離的関係を効果的にモデル化できるか？
• RQ3 解像度レベル間での段階的グラフ分割は、精度を維持または向上させつつ推論時間を顕著に短縮できるか？
• RQ4 1ショットでエンドツーエンド学習可能なフレームワークが、段階的なプロポーザルベースまたはマルチパスなプロポーザルフリー手法を上回る性能を達成できるか？

主な発見

• 提案手法は、Cityscapesの検証セットで36.9%のPQを達成し、プロポーザルフリー手法における新たなSOTAを樹立した。
• セマンティックラベル付けと類似度予測の共同学習により、相互に性能向上が見られ、非共同ベースラインと比較して9%の相対的AP向上を達成した。
• 段階的グラフ分割モジュールは、非段階的アプローチと比較して5倍の推論速度向上を達成し、APも9%の相対的向上を示した。
• COCOのテストデベロップメントセットでは、車両インスタンスに対して32.7%のAPおよび55.9%のPQを達成し、DeeperLabのような従来のプロポーザルフリー手法を上回った。
• 可視化結果から、人物や柱に部分的に隠されたオブジェクトなど、オクルージョンや断片化されたオブジェクトの正確なグループ化が可能であることが示された。
• 都市景観以外のシーンに対しても一般化性能が高く、プロポーザル生成が不要な状況でもCOCOで強力な性能を示した。