[論文レビュー] Instance and Panoptic Segmentation Using Conditional Convolutions

Zhi Tian, Bowen Zhang+2 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Neural Network Applications参考文献 48被引用数 4

ひとこと要約

本稿では、ROIベースの特徴抽出を動的でインスタンスに依存する条件付き畳み込みに置き換える完全畳み込み型フレームワーク、CondInstを提案する。インスタンスごとに条件付きでマスクヘッドのフィルタを生成することで、より高速な推論と高いマスク解像度を実現し、長時間のトレーニングスケジュールを必要とせず、Mask R-CNN や先行手法を上回る精度・速度を達成した。

ABSTRACT

We propose a simple yet effective framework for instance and panoptic segmentation, termed CondInst (conditional convolutions for instance and panoptic segmentation). In the literature, top-performing instance segmentation methods typically follow the paradigm of Mask R-CNN and rely on ROI operations (typically ROIAlign) to attend to each instance. In contrast, we propose to attend to the instances with dynamic conditional convolutions. Instead of using instance-wise ROIs as inputs to the instance mask head of fixed weights, we design dynamic instance-aware mask heads, conditioned on the instances to be predicted. CondInst enjoys three advantages: 1.) Instance and panoptic segmentation are unified into a fully convolutional network, eliminating the need for ROI cropping and feature alignment. 2.) The elimination of the ROI cropping also significantly improves the output instance mask resolution. 3.) Due to the much improved capacity of dynamically-generated conditional convolutions, the mask head can be very compact (e.g., 3 conv. layers, each having only 8 channels), leading to significantly faster inference time per instance and making the overall inference time almost constant, irrelevant to the number of instances. We demonstrate a simpler method that can achieve improved accuracy and inference speed on both instance and panoptic segmentation tasks. On the COCO dataset, we outperform a few state-of-the-art methods. We hope that CondInst can be a strong baseline for instance and panoptic segmentation. Code is available at: https://git.io/AdelaiDet

研究の動機と目的

• ROIベースのインスタンスセグメンテーションの限界、特に固定サイズのクロッピングと特徴アライメントによる可変な推論時間と低解像度マスクの問題を解決すること。
• インスタンスセグメンテーションとパノプティックセグメンテーションを完全畳み込み型フレームワークに統合し、ROIクロッピングとROIAlignの必要性を排除すること。
• 各インスタンスに適応するコンactで動的なフィルタ生成により、マスク品質と推論効率を向上させること。
• 条件付き畳み込みを用いた単純な完全畳み込み型設計が、Mask R-CNN などの強力な2段階ベースラインを精度と速度の両面で上回れることを示すこと。

提案手法

• Mask R-CNN の固定重みマスクヘッドを、インスタンスの特徴表現に基づいて条件付きでフィルタを生成する動的でインスタンスに依存するマスクヘッドに置き換える。
• マスクヘッドは、インスタンスの特徴表現から導出される条件ベクトルを用いて、各インスタンスのフィルタ重みを予測する軽量バックボーン（例：3層の畳み込み層、各8チャネル）を用いる。
• 条件付き畳み込みは、インスタンスのRoI特徴に基づいてマスクヘッド畳み込みのカーネル重みを予測する軽量ネットワークにより実装され、インスタンス固有のフィルタリングを可能にする。
• フレームワークは完全畳み込み型でエンドツーエンドに動作し、ROIクロッピングと特徴アライメントを排除し、各インスタンスに対して高解像度マスクを直接出力する。
• パノプティックセグメンテーションのため、同じ特徴マップに別個のセマンティックセグメンテーションヘッドを接続し、クラスの一貫性を保つためにインスタンスマスクを再重み付けする。
• 本手法は、標準的なインスタンスセグメンテーションおよびパノプティックセグメンテーションのターゲットを用いて学習され、マスクアノテーションはパノプティックラベルルール（例：重複するマスクは前景インスタンスにのみ割り当てられる）に適合される。

実験結果

リサーチクエスチョン

• RQ1 動的でインスタンスに依存する畳み込みフィルタを備えた完全畳み込みネットワークは、Mask R-CNN などのROIベース手法を上回るインスタンスセグメンテーションの精度と推論速度を達成できるか？
• RQ2 ROIクロッピングと特徴アライメントを排除することで、インスタンスセグメンテーションにおけるマスク解像度とモデル効率にどのような影響を与えるか？
• RQ3 8チャネルの畳み込みのみを用いたコンactで動的マスクヘッドは、より大きな固定重みヘッドと比較して競争力のある性能を達成できるか？
• RQ4 条件付き畳み込みの使用により、標準的なFCNと比較して、インスタンスマスクの一般化性能と細部の保持能力が向上するか？
• RQ5 同じフレームワークを最小限の変更でパノプティックセグメンテーションに効果的に拡張でき、最先端の性能を達成できるか？

主な発見

• ResNeXt-101-FPNバックボーンを用い、3×トレーニングスケジュールでCOCOテストデブで47.8 PQを達成し、Panoptic-FPN（46.1 PQ）とAdaptIS（42.8 PQ）を上回った。
• Cityscapesバリデーションセットでは61.7 PQを達成し、Unifying（61.4 PQ）やPanoptic-FCN（61.4 PQ）を上回った。
• 固定サイズへのリサイズを回避するため、ROIベース手法よりも高いマスク解像度を実現した。
• インスタンスごとの推論時間が著しく短く、インスタンス数に依存しにくくなった。これは、コンactで動的マスクヘッドアーキテクチャのおかげである。
• 長時間のトレーニングスケジュールや複雑な後処理を必要とせず、インスタンスセグメンテーションおよびパノプティックセグメンテーションのベンチマークで最先端の性能を達成した。
• 定性的な結果から、YOLACT や Mask R-CNN と比較して、CondInstはより高品質なマスクを生成し、細部の保持が優れていることが示された。