[論文レビュー] Shape-aware Feature Extraction for Instance Segmentation.

Hao Ding, Siyuan Qiao+2 more|arXiv (Cornell University)|Nov 25, 2019

Advanced Neural Network Applications参考文献 35被引用数 4

ひとこと要約

本稿では、予測されたマスク形状に合わせてRoI特徴をアライメントすることで、標準的な矩形バウンディングボックスではなく、形状に配慮したRoIAlignを提案する。この手法により、混雑したシーンにおけるインスタンスセグメンテーションの性能が向上し、COCO上での性能が標準的なMask R-CNNを上回る。

ABSTRACT

Modern instance segmentation approaches mainly adopt a sequential paradigm - ``detect then segment'', as popularized by Mask R-CNN, which have achieved considerable progress. However, they usually struggle to segment huddled instances, i.e., instances which are crowded together. The essential reason is the detection step is only learned under box-level supervision. Without the guidance from the mask-level supervision, the features extracted from the regions containing huddled instances are noisy and ambiguous, which makes the detection problem ill-posed. To address this issue, we propose a new region-of-interest (RoI) feature extraction strategy, named Shape-aware RoIAlign, which focuses feature extraction within a region aligned well with the shape of the instance-of-interest rather than a rectangular RoI. We instantiate Shape-aware RoIAlign by introducing a novel refining module built upon Mask R-CNN, which takes the mask predicted by Mask R-CNN as the region to guide the computation of Shape-aware RoIAlign. Based on the RoI features re-computed by Shape-aware RoIAlign, the refining module updates the bounding box as well as the mask predicted by Mask R-CNN. Experimental results show that the refining module equipped with Shape-aware RoIAlign achieves consistent and remarkable improvements than Mask R-CNN models with different backbones, respectively, on the challenging COCO dataset. The code will be released.

研究の動機と目的

• 重なっているオブジェクトによる性能低下が生じる、混雑したシーンにおけるインスタンスセグメンテーションの課題に対処すること。
• 検出ヘッドにおけるボックスレベルの監視による制限を克服し、混雑領域におけるノイズが多く曖昧な特徴を回避すること。
• RoI特徴抽出中にマスクレベルの監視を活用することで、重なっているインスタンスが存在する領域における特徴品質を向上させること。
• 予測されたマスクを用いて空間的アライメントをガイドし、RoI特徴を再計算するリファインメントモジュールを開発すること。

提案手法

• 予測されたインスタンスのマスクを形状に配慮した領域として使用する、標準のRoIアライメントとは異なる、変更されたRoIアライメント戦略を提案する。
• 初期のマスク予測をMask R-CNNから得た空間的ガイドを用いて、Shape-aware RoIAlignを用いてRoI特徴を再計算するリファインメントモジュールを設計する。
• リファインされたRoI特徴を用いて、ボクシングボックスとマスクの両方の予測を更新し、局所化とセグメンテーションの正確性を向上させる。
• エンドツーエンドの学習を可能にするために、リファインメントモジュールをMask R-CNNフレームワークに統合し、特徴抽出中にマスクレベルの監視から学習できるようにする。
• 予測されたマスクを空間マスクとして使用し、実際のインスタンス形状に特徴抽出を制限することで、隣接オブジェクトからの干渉を低減する。

実験結果

リサーチクエスチョン

• RQ1 ボックスレベルの監視が失敗する混雑領域において、マスクレベルの監視が特徴品質を向上させることができるか？
• RQ2 矩形ボックスではなく、予測されたインスタンス形状にRoI特徴をアライメントすることで、より良いセグメンテーション性能が得られるか？
• RQ3 Shape-aware RoIAlignに基づくリファインメントモジュールは、異なるバックボーンアーキテクチャにおいて一貫して性能を向上させることができるか？
• RQ4 Shape-aware RoIAlignは、重なっているまたは密集したインスタンスを処理する際、標準的なRoIAlignと比較してどのように優れているか？

主な発見

• Shape-aware RoIAlignは、COCOデータセット上で複数のバックボーンアーキテクチャにおいて、標準的なMask R-CNNに対して一貫した顕著な性能向上を達成した。
• Shape-aware RoIAlignを用いたリファインメントモジュールは、重なっているインスタンスが存在する混雑したシーンにおいて、ボクシングボックスとマスクの両方の予測品質を向上させた。
• 特徴抽出時に実際のインスタンス形状に注目することで、重なり領域におけるノイズが多く曖昧な特徴を効果的に低減した。
• 性能向上は定量的に測定可能であり、COCO上での改善が報告されているが、正確なmAP値は提供されたテキストに記載されていない。