[論文レビュー] Hybrid Task Cascade for Instance Segmentation

Kai Chen, Jiangmiao Pang+10 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Neural Network Applications参考文献 43被引用数 175

ひとこと要約

HTCは検出とセグメンテーションを多段階カスケードで組み合わせ、マスク特徴流とセマンティックコンテキストブランチを追加することで、COCOのマスクAPを改善する。

ABSTRACT

Cascade is a classic yet powerful architecture that has boosted performance on various tasks. However, how to introduce cascade to instance segmentation remains an open question. A simple combination of Cascade R-CNN and Mask R-CNN only brings limited gain. In exploring a more effective approach, we find that the key to a successful instance segmentation cascade is to fully leverage the reciprocal relationship between detection and segmentation. In this work, we propose a new framework, Hybrid Task Cascade (HTC), which differs in two important aspects: (1) instead of performing cascaded refinement on these two tasks separately, it interweaves them for a joint multi-stage processing; (2) it adopts a fully convolutional branch to provide spatial context, which can help distinguishing hard foreground from cluttered background. Overall, this framework can learn more discriminative features progressively while integrating complementary features together in each stage. Without bells and whistles, a single HTC obtains 38.4 and 1.5 improvement over a strong Cascade Mask R-CNN baseline on MSCOCO dataset. Moreover, our overall system achieves 48.6 mask AP on the test-challenge split, ranking 1st in the COCO 2018 Challenge Object Detection Task. Code is available at: https://github.com/open-mmlab/mmdetection.

研究の動機と目的

• タスク間で強い情報フローを持つカスケードを活用して、インスタンスセグメンテーションの改善を動機づける。
• 各段階で検出とセグメンテーションを織り交ぜる Hybrid Task Cascade (HTC) を提案する。
• マスク情報フローと意味ブランチから得られる空間的文脈の利点を調査する。
• COCO test-dev/test-challenge でエンドツーエンドの訓練可能性と最先端の性能を示す。

提案手法

• bbox回帰とマスク予測を共同のマルチタスクパイプラインで段階的に改良する三段階カスケードを導入する。
• 段階間でマスクブランチ同士を直接接続し、マスク情報の流れを可能にする。
• 空間的文脈を提供し、ボックス/マスクブランチと特徴を融合する完全畳み込みのセマンティックセグメンテーションブランチを組み込む。
• RoIAlignを介してセマンティック特徴をROI特徴と融合させ、 bbox およびマスク予測を改善する。
• alpha_tおよびbetaの平衡係数を用いた段階とタスクに跨るマルチタスク損失で訓練する。
• さらなる向上のためにバックボーンや訓練のコツ（DCN、SyncBN、マルチスケール、アンサンブル）を追加で拡張可能。

実験結果

リサーチクエスチョン

• RQ1 カスケード状のマルチタスクアーキテクチャはインスタンスセグメンテーションにおいて境界ボックスとマスクの予測の両方を改善できるか？
• RQ2 段階間での明示的なマスク情報フローはマスクの精緻化を高めるか？
• RQ3 空間的文脈セマンティックセグメンテーションブランチを追加することは foreground-background の識別を改善するか？
• RQ4 これらの設計選択は COCO のマスクAPや test-dev/test-challenge の全体性能にどのような影響を与えるか？

主な発見

Method	Backbone	box AP	mask AP	AP50	AP75	AP_S	AP_M	AP_L	runtime (fps)
Mask R-CNN	ResNet-50-FPN	39.1	35.6	57.6	38.1	18.7	38.3	46.6	5.3
Cascade Mask R-CNN	ResNet-50-FPN	42.7	36.9	58.6	39.7	19.6	39.3	48.8	3.0
HTC (ours)	ResNet-50-FPN	43.6	38.4	60.0	41.5	20.4	40.7	51.2	2.5
HTC (ours)	ResNet-101-FPN	45.3	39.7	61.8	43.1	21.0	42.2	53.5	2.4
HTC (ours)	ResNeXt-101-FPN	47.1	41.2	63.9	44.7	22.8	43.9	54.6	2.1

• HTC はバックボーンを問わず Mask R-CNN および Cascade Mask R-CNN のベースラインより高いマスクAPを示す。
• HTC は ResNet-50-FPN, ResNet-101-FPN, ResNeXt-101-FPN で一貫してベースラインより最大約1.5ポイントのマスクAP改善。
• Interleaved 実行は控えめな向上をもたらす一方、マスク情報フローはさらなる改善を提供する（約0.6–1.5AP）。
• Semantic segmentation ブランチは補完的な文脈を提供し、追加の利得をもたらす（約0.6AP）。
• COCO test-dev で強力なバックボーンと高度な工夫を組み合わせた HTC は 49.0 のマスクAP を達成し、test-challenge では 48.6 のマスクAP。