[論文レビュー] Fully Convolutional Networks for Panoptic Segmentation

Yanwei Li, Hengshuang Zhao+5 more|arXiv (Cornell University)|Dec 1, 2020

Video Surveillance and Tracking Methods参考文献 54被引用数 12

ひとこと要約

本稿では、物体中心とストั๊ฟ領域から成るキーナルジェネレータを用いて、インスタンス固有のカーネルを生成することで、バウンディングボックスや後処理を必要とせず、エンドツーエンドで高解像度予測が可能な、完全畳み込み型フレームワークであるPanoptic FCNを提案する。単一スケール推論で、COCO test-devで47.5% PQ、Cityscapes valで61.4% PQの最先端性能を達成した。

ABSTRACT

In this paper, we present a conceptually simple, strong, and efficient framework for panoptic segmentation, called Panoptic FCN. Our approach aims to represent and predict foreground things and background stuff in a unified fully convolutional pipeline. In particular, Panoptic FCN encodes each object instance or stuff category into a specific kernel weight with the proposed kernel generator and produces the prediction by convolving the high-resolution feature directly. With this approach, instance-aware and semantically consistent properties for things and stuff can be respectively satisfied in a simple generate-kernel-then-segment workflow. Without extra boxes for localization or instance separation, the proposed approach outperforms previous box-based and -free models with high efficiency on COCO, Cityscapes, and Mapillary Vistas datasets with single scale input. Our code is made publicly available at https://github.com/Jia-Research-Lab/PanopticFCN.

研究の動機と目的

• パノプティックセグメンテーションにおいて、数えられるもの（things）と数えられないもの（stuff）の表現を、単一のエンドツーエンド完全畳み込みフレームワークで統一すること。
• 別々のブランチや後処理に依存せずに、インスタンス認識のためのもの（things）と、意味的整合性のためのもの（stuff）の間の矛盾を解消すること。
• 完全畳み込み的に、バウンディングボックスや追加のインスタンス分離モジュール（例：オフセット、アフィニティ）を必要とせずに、それを排除すること。
• 統一されたカーネル生成と畳み込みワークフローを用いて、高解像度で効率的かつ正確なパノプティックセグメンテーションを達成すること。

提案手法

• キーナルジェネレータモジュールが、位置ヘッドとキーナルヘッドから得られる物体中心とストーリー領域に基づいて、インスタンス固有のカーネル重みを生成する。
• 各インスタンスまたは意味的カテゴリが、一意のカーネル重みとしてエンコードされ、高解像度特徴量との直接畳み込みによる予測が可能になる。
• 同じ識別子または意味的ラベルを持つカーネルを統合するカーネル統合処理により、整合性を確保し、重複を回避する。
• 特徴エンコーダーが高解像度特徴量を保持することで、空間的詳細を維持し、正確な局所化とセグメンテーションを可能にする。
• 予測は、生成されたカーネルを高解像度特徴マップに直接畳み込むことで実行され、NMSやボックスベースのプロポーザルの必要がなくなる。
• フレームワークは1回の順伝播で動作し、後処理が不要であり、完全畳み込み的かつ効率的である。

実験結果

リサーチクエスチョン

• RQ1 統一的で完全畳み込み型のフレームワークは、パノプティックセグメンテーションにおいて、インスタンス認識の必要なもの（things）と意味的整合性の必要なもの（stuff）を効果的に処理できるか？
• RQ2 ボックスベースやアフィニティベースの手法に代わって、カーネルベースの生成が、正確性と効率性を維持または向上させることができるか？
• RQ3 カーネル統合により、追加のモジュールなしに、ストーリーの意味的整合性とインスタンスの識別性を両立させることができるか？
• RQ4 単一スケール、エンドツーエンド、カーネルベースのアプローチが、既存のボックスフリーおよびボックスベースのモデルを、標準ベンチマークで上回ることができるか？

主な発見

• COCO test-devセットでは47.5% PQを達成し、最先端のボックスベース手法より0.2% PQ高く、ボックスフリー手法より1.9% PQも上回った。
• Cityscapes valセットでは61.4% PQを達成し、最良のボックスフリーモデルより1.7% PQ高く、Lovasz損失を用いたボックスベースモデルと同等の性能を示した。
• Mapillary Vistas valセットでは、簡単な強化により36.9% PQを達成し、ボックスフリーカテゴリで前回の最先端より3.6% PQも上回った。
• COCO、Cityscapes、Mapillary Vistasの3つのベンチマークすべてで、単一スケール入力とデータオーグメンテーションやフリップなしで、最先端の性能を達成した。
• アブレーションスタディにより、キーナルジェネレータとキーナル統合部が性能に不可欠であることが確認され、完全モデルはアブレーションバージョンを著しく上回った。
• フレームワークは完全畳み込み的かつ効率的であり、NMS、バウンディングボックス、または複雑な後処理ステップの必要がなかった。