[論文レビュー] Learning to Fuse Things and Stuff

Jie Li, Allan Raventos+3 more|arXiv (Cornell University)|Dec 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 99

ひとこと要約

論文は Things と Stuff の予測を TASC 制約で統合するエンドツーエンドのパノプティックセグメンテーションネットワーク TASCNet を提示し、統一モデルで競争力のある結果を達成します。

ABSTRACT

We propose an end-to-end learning approach for panoptic segmentation, a novel task unifying instance (things) and semantic (stuff) segmentation. Our model, TASCNet, uses feature maps from a shared backbone network to predict in a single feed-forward pass both things and stuff segmentations. We explicitly constrain these two output distributions through a global things and stuff binary mask to enforce cross-task consistency. Our proposed unified network is competitive with the state of the art on several benchmarks for panoptic segmentation as well as on the individual semantic and instance segmentation tasks.

研究の動機と目的

• セマンティックとインスタンス segmentation を単一モデルに統合する統合的なパノプティックセグメンテーションのアプローチを動機づける。
• 共有特徴とタスク間制約を活用して、個々のタスクと結合されたパノプティック出力の両方を改善する。
• 学習中に Things と Stuff の出力を整合させる微分可能なメカニズム（TASC）を提案する。
• Cityscapes、Mapillary Vistas、COCO データセットでの効率性と競争力のある性能を実証する。

提案手法

• ResNet50 のバックボーンと Feature Pyramid Network (FPN) を用いて Things Head と Stuff Head の特徴を共有する。
• Stuff Head を導入し、すべての Stuff クラスを densely に予測し、必要に応じて単一の 'things' クラスを追加で予測する。
• RoIAlign ベースのプーリング戦略を用いた Region-based CNN ヘッドで Things Head を実装し、インスタンス分割を実現する。
• Things と Stuff の二つのタスクのバイナリマスク間の残差を微分可能な方法で最小化する Things and Stuff Consistency (TASC) ロスを導入する（Things は RoI-Flatten、Stuff マスクはしきい値処理で実現）。
• Mask-Guided Fusion を適用して、学習されたマスクの指針の下でインスタンス予測とセマンティック予測を組み合わせ、最終的なパノプティック出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 共有バックボーンを備えた単一の統合ネットワークは、Things と Stuff の関係を活用することでパノプティックセグメンテーションを改善できるか。
• RQ2 微分可能な TASC 制約によってタスク間の整合性を強制することで、トレーニングを安定化させ、セマンティックとインスタンス segmentation の両方の精度を向上させるか。
• RQ3 標準ベンチマークで、単一ネットワークのパノプティックモデルは、後でフュージョンを行う独立した分割モデルと比較してどうか。
• RQ4 Stuff ヘッドにおけるオントロジーの選択（全体 vs 折りたたみ）を最終的なパノプティック性能に与える影響は何か。

主な発見

方法	バックボーン	PQ	PQ th.	PQ st.	mIoU	AP
Kirillov et al [ 15 ]	R50+X101	61.2	54.0	66.4	N/A	36.4
TASCNet	R-50	59.3	56.3	61.5	78.1	37.6
TASCNet(M.)	R-50	60.4	56.1	63.3	78.7	39.09
Table 1 (Cityscapes) - TASCNet family variants	R-50	60.4	56.1	63.3	78.7	39.09

• TASCNet は Cityscapes、Mapillary Vistas、COCO で ResNet-50 バックボーンを用いた場合に競争力のあるパノプティック品質（PQ）を達成する。
• TASC ロスを追加（λ > 0）すると、非 TASC ベースラインより PQ および関連指標が改善され、λ = 1 が強力な結果を示す。
• Stuff ヘッドでの完全なオントロジー（N 個の Stuff クラスと M 個の Things クラスを予測）を使用する方が、Things を単一の『thing』クラスにまとめるより性能が向上する。
• 両方のヘッド（Things と Stuff）を同時に学習すると、段階的な学習より収束先が良くなる傾向がある。
• Cityscapes で、TASCNet の変種は最先端のベースラインに近い PQ を達成するか、それを上回るが、パラメータ数は大幅に少ない。