[論文レビュー] Learning Instance Occlusion for Panoptic Segmentation

Justin Lazarow, Kwonjoon Lee+2 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Neural Network Applications参考文献 55被引用数 11

ひとこと要約

本論文では、インスタンスマスク間の二値的オクルージョン関係を学習することで、パノプティックセグメンテーションの融合を向上させる軽量なオクルージョンヘッド、OCFusionを提案する。信頼度に基づくソーティングを学習されたオクルージョン順序に置き換えることで、COCO（+3 PQポイント）で最先端の性能を達成し、推論時間の増加が2〜5%にとどまる。

ABSTRACT

Panoptic segmentation requires segments of both "things" (countable object instances) and "stuff" (uncountable and amorphous regions) within a single output. A common approach involves the fusion of instance segmentation (for "things") and semantic segmentation (for "stuff") into a non-overlapping placement of segments, and resolves overlaps. However, instance ordering with detection confidence do not correlate well with natural occlusion relationship. To resolve this issue, we propose a branch that is tasked with modeling how two instance masks should overlap one another as a binary relation. Our method, named OCFusion, is lightweight but particularly effective in the instance fusion process. OCFusion is trained with the ground truth relation derived automatically from the existing dataset annotations. We obtain state-of-the-art results on COCO and show competitive results on the Cityscapes panoptic segmentation benchmark.

研究の動機と目的

• パノプティックセグメンテーションの融合において、検出信頼度と自然なオクルージョン順序の間の相関の低さを解決する。
• 重複するオブジェクトインスタンス間の明示的なオクルージョン関係をモデル化することで、インスタンスの統合を改善する。
• 特にオクルードされた車両のような困難な状況において、クラス間およびクラス内オクルージョンを効果的に処理できるようにする。
• 標準のベンチマークで顕著なセグメンテーション精度の向上を達成しながら、計算コストを最小限に抑える。
• 既存のMask R-CNNおよびPanoptic FPNパイプラインと互換性があり、簡単に統合可能なプラグインソリューションを提供する。

提案手法

• 重なりが十分に大きい（IoU > ρ）インスタンスマスク候補のペア間の二値的オクルージョン関係を予測する軽量なオクルージョンヘッドを学習する。
• COCOおよびCityscapesのアノテーションから自動的に抽出された真値のオクルージョン関係を、オクルージョンヘッドの教師信号として用いる。
• オクルージョンヘッドをMask R-CNNインスタンスセグメンテーションパイプラインに統合し、融合時にどのマスクを上位にすべきかを予測可能にする。
• 重複の解消に際して、検出スコアよりもオクルージョン予測を優先するように、標準の信頼度ベースの統合ヒューリスティックを変更する。
• オクルージョンヘッドを、IoU閾値（ρ）を超える重複ペアにのみ適用することで、計算コストを削減する。
• クラス間およびクラス内オクルージョン処理を独立して制御可能にすることで、複雑なシーンにおけるロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトインスタンス間の明示的なオクルージョン関係を学習することで、パノプティックセグメンテーションの統合品質が向上するか？
• RQ2 信頼度ベースのソーティングを学習されたオクルージョン順序に置き換えることで、最終出力における重複インスタンスの保持が向上するか？
• RQ3 外観が類似しており空間的配置が複雑なクラス内オクルージョンに対して、この手法はどの程度有効か？
• RQ4 オクルージョンヘッドを追加した際の計算コストはどの程度で、顕著な性能向上を達成しながらも最小限に抑えられるか？
• RQ5 COCOやCityscapesのような異なるデータセット間で、再トレーニングを最小限に抑えつつ一般化できるか？

主な発見

• COCOでは、ベースラインの56.3から59.3にまでパノプティック品質（PQ）が向上し、3.0ポイントの改善を達成した。
• Cityscapesでは、ベースライン比0.7ポイントのPQ向上（59.3 PQ）を達成し、インスタンスAPは1.7ポイント向上、スタッフAPは0.0ポイントの変化であった。
• アブレーションスタディにより、クラス内オクルージョン処理を有効にした場合、CityscapesでインスタンスAPが1.7ポイント向上することが確認され、その重要性が示された。
• COCOでは推論時間に2.0%の増加、Cityscapesでは4.7%の増加にとどまり、計算コストの増加が非常に小さいことが示された。
• 視覚的比較では、OCFusionは信頼度ベースの統合に比べ、たとえば体幹の上にある腕の詳細をよりよく保持していることが確認された。
• オクルージョンヘッドは数千年回程度の学習でさえも有効であり、自動収集されたオクルージョンデータセットからの強力な一般化能力を示している。