[論文レビュー] Conditional Convolutions for Instance Segmentation

Zhi Tian, Chunhua Shen+1 more|arXiv (Cornell University)|Mar 12, 2020

Advanced Neural Network Applications参考文献 44被引用数 26

ひとこと要約

この論文は、従来のROIベースのマスクヘッドを置き換える動的でインスタンスに依存する畳み込みネットワークを備えた、インスタンスセグメンテーションの新規フレームワークCondInstを提案する。各インスタンスの特徴量と位置に基づいてフィルタ重みを条件付きで生成することで、Mask R-CNNより高い精度と高速な推論を達成し、長時間のトレーニングスケジュールを必要とせずに1.2 APポイント（35.9% 対 35.5%）の優位性を示した。

ABSTRACT

We propose a simple yet effective instance segmentation framework, termed CondInst (conditional convolutions for instance segmentation). Top-performing instance segmentation methods such as Mask R-CNN rely on ROI operations (typically ROIPool or ROIAlign) to obtain the final instance masks. In contrast, we propose to solve instance segmentation from a new perspective. Instead of using instance-wise ROIs as inputs to a network of fixed weights, we employ dynamic instance-aware networks, conditioned on instances. CondInst enjoys two advantages: 1) Instance segmentation is solved by a fully convolutional network, eliminating the need for ROI cropping and feature alignment. 2) Due to the much improved capacity of dynamically-generated conditional convolutions, the mask head can be very compact (e.g., 3 conv. layers, each having only 8 channels), leading to significantly faster inference. We demonstrate a simpler instance segmentation method that can achieve improved performance in both accuracy and inference speed. On the COCO dataset, we outperform a few recent methods including well-tuned Mask RCNN baselines, without longer training schedules needed. Code is available: https://github.com/aim-uofa/adet

研究の動機と目的

• Mask R-CNNのようなROIベースのインスタンスセグメンテーション手法が、クロップ処理とアライメント処理に依存するという限界を是正すること。
• ROIプーリングと特徴量アライメントの必要性を排除することで、完全に畳み込み型のインスタンスセグメンテーションを実現すること。
• インスタンス固有の動的生成畳み込みフィルタを用いて、マスクヘッドの効率性と性能を向上させること。
• 既存手法、特にチューニングされたMask R-CNNベースラインを上回る高い精度と高速な推論を達成すること。
• 条件付き畳み込みを備えたコンactなマスクヘッドが、より大きな固定重みヘッドを上回ることを示すこと。

提案手法

• インスタンスに依存するマスクヘッドを用いた完全に畳み込み型のインスタンスセグメンテーションフレームワークを提案し、畳み込みフィルタ重みを動的に生成する。
• インスタンスの中心領域と相対座標に条件づけたマスクヘッドフィルタを生成するためのコントローラー部分ネットワークを採用する。
• 各インスタンスごとに重みが動的に生成される条件付き畳み込みを導入し、インスタンス固有の特徴量学習を可能にする。
• 特徴マップに相対座標を付加することで空間的なインダクティブバイアスを提供し、ROIクロッピングなしで局在化性能を向上させる。
• 完全な特徴マップに直接動的マスクヘッドを適用することで、ROIAlignおよびROIプーリングの両方を排除する。
• パラメータ数と計算量を顕著に削減するため、3層の畳み込み層（各8チャネル）からなる軽量なマスクヘッドを採用する。

実験結果

リサーチクエスチョン

• RQ1 完全に畳み込み型のネットワークに、インスタンスに依存する動的フィルタを適用することで、ROIベースの手法を上回るインスタンスセグメンテーション性能を達成できるか？
• RQ2 動的に生成されたフィルタを備えたコンパクトなマスクヘッドが、より大きな固定重みヘッドを上回る精度を達成できるか？
• RQ3 ROI処理を排除することで、マスク品質を損なわず推論速度が向上するか？
• RQ4 ROIクロッピングなしで、条件付き畳み込みが類似した外観のインスタンス（例：複数人の人物）を効果的に区別できるか？
• RQ5 提案手法が、Mask R-CNN や TensorMask といった最先端モデルと比較して、精度と速度の両面で優れているか？

主な発見

• CondInstはCOCO test-devで35.9%のAPを達成し、長時間のトレーニングスケジュールを必要としないチューニング済みのMask R-CNNベースライン（35.5%）を上回った。
• 3倍のトレーニングスケジュールとResNet-101バックボーンを用いることで、CondInstは40.1%のAPを達成し、Mask R-CNN（38.8%）とTensorMask（37.1%）を上回った。
• CondInstはTensorMask（1枚あたり380ms対49ms）と比較して約8倍高速であり、性能は同等または上回った。
• 非常にコンパクトなマスクヘッド（3層の畳み込み、各8チャネル）を用いることで、最先端の性能を達成し、計算コストを低減した。
• 補助的なセマンティックセグメンテーションヘッドを導入することで、CondInstの性能はResNet-50で38.8% AP、ResNet-101で40.1% APに向上したが、推論時間に変化はなかった。
• ボックスベースのNMSと同等の性能をマスク予測に基づくNMSが達成したため、CondInstがボックス検出の必要性を完全に排除できることを確認した。