[論文レビュー] Unifying Training and Inference for Panoptic Segmentation

Qizhu Li, Xiaojuan Qi+1 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Neural Network Applications参考文献 20被引用数 6

ひとこと要約

本稿では、学習可能で軽量なインスタンス類似度モジュールと微分可能パノプティックヘッドを用いて、トレーニングと推論を統一するエンドツーエンドのパノプティックセグメンテーションフレームワークを提案する。ヒューリスティックな後処理を排除し、ResNet-50とボクシングボックスの情報のみを用いてCityscapesで61.4 PQ、COCOで43.4 PQの最先端性能を達成しており、局所化誤差に対して頑健であり、ネットワーク設計の柔軟性も示している。

ABSTRACT

We present an end-to-end network to bridge the gap between training and inference pipeline for panoptic segmentation, a task that seeks to partition an image into semantic regions for "stuff" and object instances for "things". In contrast to recent works, our network exploits a parametrised, yet lightweight panoptic segmentation submodule, powered by an end-to-end learnt dense instance affinity, to capture the probability that any pair of pixels belong to the same instance. This panoptic submodule gives rise to a novel propagation mechanism for panoptic logits and enables the network to output a coherent panoptic segmentation map for both "stuff" and "thing" classes, without any post-processing. Reaping the benefits of end-to-end training, our full system sets new records on the popular street scene dataset, Cityscapes, achieving 61.4 PQ with a ResNet-50 backbone using only the fine annotations. On the challenging COCO dataset, our ResNet-50-based network also delivers state-of-the-art accuracy of 43.4 PQ. Moreover, our network flexibly works with and without object mask cues, performing competitively under both settings, which is of interest for applications with computation budgets.

研究の動機と目的

• ヒューリスティックな後処理を排除することで、パノプティックセグメンテーションにおけるトレーニングと推論のギャップを埋めること。
• セマンティックおよびインスタンスセグメンテーションを統合する微分可能パノプティックヘッドを通じてエンドツーエンド最適化を可能にすること。
• データ駆動型のインスタンス類似度学習により、不完全な局所化の入力（例：ボクシングボックス）に対して頑健性を向上させること。
• グローバルなパノプティック品質（PQ）を直接最適化する新しいパノプティックマッチング損失を設計すること。
• 高価な真値インスタンスマスクを必要とせず、計算制約のある環境でも柔軟に利用可能な性能を達成すること。

提案手法

• 画素間の密なインスタンス類似度を予測するパラメータ化され、軽量なパノプティックセグメンテーションサブモジュールを導入する。
• 予測された類似度に基づいてパノプティックログィットを画像全体にわたって微分可能に伝搬するメカニズムを用い、エンドツーエンドのトレーニングと推論を可能にする。
• 固定されたヘッド数を持たない可変数のパノプティックインスタンスを表現するためのダイナミックポテンシャルヘッドを採用する。
• オンラインインスタンスマッチング後に予測されたパノプティックセグメンテーションに対してクロスエントロピー損失を直接計算するパノプティックマッチング損失を提案する。
• 予測された類似度を活用して、ボクシングボックスなどの粗い局所化入力から得られる不完全な予測（例：切断された物体）を補正する。
• 真値マスクやマスクアノテーションを除き、ボクシングボックスアノテーションのみを用いて、後処理を一切不要なエンドツーエンドのシステムを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな後処理を排除する微分可能で学習可能なインスタンス類似度メカニズムは、トレーニングと推論を統一できるか？
• RQ2 新しいパノプティックマッチング損失を用いたエンドツーエンドトレーニングは、真値検出結果を用いたトレーニングと比較して性能をどのように向上させるか？
• RQ3 局所化の入力（例：ボクシングボックス）が不正確または不完全な場合、モデルは完全なインスタンスセグメンテーションをどの程度回復できるか？
• RQ4 高価な真値インスタンスマスクに依存せず、最先端の性能を達成できるか？
• RQ5 提案手法は、セマンティックとインスタンスセグメンテーションの予測に生じる不整合をどのように処理するか？

主な発見

• 本モデルは、細分化アノテーションとResNet-50バックボーンのみを用いて、Cityscapesで61.4 PQを達成し、この設定で新たな最先端性能を樹立した。
• COCOデータセットでは、ResNet-50ベースのモデルが43.4 PQを達成し、新たな最先端結果を確立した。
• オブジェクトマスクの入力がなくても競争力のある性能を示しており、粗い局所化入力に対して頑健であることを実証した。
• 定性的な結果から、高類似度画素を介した情報伝搬により、ヒューリスティック手法が空洞領域を残すのとは異なり、モデルが切断された物体（例：車）を効果的に回復していることが示された。
• アブレーションスタディの結果、アフィニティモジュールを介して予測された検出結果を用いたトレーニングが、真値検出結果を用いたトレーニングよりも優れた性能を示し、エンドツーエンド学習の価値を裏付けた。
• パノプティックマッチング損失によりPQの直接最適化が可能となり、微分可能なパノプティックヘッドのおかげで、テスト時の後処理を一切不要とする完全なエンドツーエンドトレーニングが実現された。