[論文レビュー] BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation

Yi-Feng Chen, Guangchen Lin+7 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 12

ひとこと要約

BANet は、パノプティックセグメンテーションのための双方向アグリゲーションネットワークを提案し、プラグアンドプレイ式の遮蔽処理モジュールを備えている。I2S および S2I パathway を通じてインスタンスセグメンテーションとセマンティックセグメンテーションの間で特徴量の相互作用を強化し、低レベルの外観特徴量を用いて遮蔽の矛盾を解消する。両モジュールを組み合わせた場合、COCO で 59.3% の PQ を達成し、ResNet-101-FPN ベースラインから 1.0% 向上する。

ABSTRACT

Panoptic segmentation aims to perform instance segmentation for foreground instances and semantic segmentation for background stuff simultaneously. The typical top-down pipeline concentrates on two key issues: 1) how to effectively model the intrinsic interaction between semantic segmentation and instance segmentation, and 2) how to properly handle occlusion for panoptic segmentation. Intuitively, the complementarity between semantic segmentation and instance segmentation can be leveraged to improve the performance. Besides, we notice that using detection/mask scores is insufficient for resolving the occlusion problem. Motivated by these observations, we propose a novel deep panoptic segmentation scheme based on a bidirectional learning pipeline. Moreover, we introduce a plug-and-play occlusion handling algorithm to deal with the occlusion between different object instances. The experimental results on COCO panoptic benchmark validate the effectiveness of our proposed method. Codes will be released soon at https://github.com/Mooonside/BANet.

研究の動機と目的

• トップダウン型パノプティックセグメンテーションにおいて、インスタンスセグメンテーションとセマンティックセグメンテーションの間の双方向特徴相互作用の欠如を解消すること。
• 特徴レベルで両タスクの補完的特徴を活用することで、性能を向上させること。
• スコアベースの手法よりも、重なった物体間の遮蔽矛盾をより正確に解消すること。
• 追加学習を必要としない、プラグアンドプレイ式の遮蔽処理モジュールを設計すること。
• 低レベル外観特徴量がピクセルからインスタンスへの割り当てに有効であることを検証すること。

提案手法

• 二つのモジュール（インスタンスからセマンティックへの変換（I2S）とセマンティックからインスタンスへの変換（S2I））を備えた双方向学習パイプラインを導入し、タスク間特徴量のアグリゲーションを実現する。
• 正確な特徴融合を実現するため、二重線形補間に基づく ROIInlay 演算子を提案し、切り出し済みインスタンス特徴量を元の画像空間に正確にマッピングする。
• 学習を不要とする遮蔽処理アルゴリズムを設計し、低レベル特徴空間における外観類似度を用いて、被覆されたピクセルを最も類似したオブジェクトインスタンスに割り当てる。
• アブレーションスタディでは、遮蔽処理性能の上限を推定するために、真値の重なり関係を用いる。
• トップダウンフレームワークを採用し、インスタンス検出とセマンティックセグメンテーションを双方向特徴精錬とともに共同最適化する。
• 遮蔽処理モジュールを、再トレーニングなしに任意のトップダウン型パノプティックセグメンテーションネットワークにプラグインとして適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 インスタンスセグメンテーションとセマンティックセグメンテーションの間で双方向特徴相互作用を実現することで、パノプティックセグメンテーションの性能が向上するか？
• RQ2 検出スコアやマスクスコアに依存するのではなく、低レベル外観特徴量を用いることで、遮蔽の解消がより良くなるか？
• RQ3 インスタンスセグメンテーションとセマンティックセグメンテーションの相補性を明示的にモデル化することで、どの程度の性能向上が達成できるか？
• RQ4 真値の重なり関係が利用可能な場合、遮蔽処理性能の上限はどの程度か？
• RQ5 提案された遮蔽処理モジュールは、異なるバックボーンネットワークにおいても有効か？

主な発見

• 提案された BANet は、COCO パノプティック検証セットで 59.3% の PQ を達成し、双方向アグリゲーションと遮蔽処理モジュールを両方使用した場合、ResNet-101-FPN ベースラインから 1.0% 向上する。
• 遮蔽処理モジュールを ResNet-101-FPN に適用すると、PQ が 1.0% 向上し、異なるバックボーンに対して一貫した向上効果を示す。
• 真値の重なり関係が使用された場合、PQ は 53.2% に上昇し、現在の遮蔽処理と理想の処理との間には依然として大きな性能ギャップがあることが示唆される。
• 「もの」カテゴリの認識能力に欠如していることが主なボトルネックであると特定され、真値のクラスラベルを割り当てることで PQ_Th が 20% 以上上昇する。
• 「もの」を「ものでない」ものよりも優先する統合プロセスは最適でないことが判明し、真値セグメンテーションが使用された場合、PQ_Sf はたったの 76.4% にとどまるため、統合戦略の改善の余地がある。
• 可視化結果から、双方向アーキテクチャが大きな誤分類領域を是正し、遮蔽処理モジュールが重なったオブジェクト領域での矛盾を解消することが確認された。