[論文レビュー] Boundary-preserving Mask R-CNN

Tianheng Cheng, Xinggang Wang+2 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Neural Network Applications参考文献 54被引用数 12

ひとこと要約

本稿では、統一されたマスクヘッド内で特徴マッピングブロックを用いて境界とマスクを同時に学習することで、マスク局所化精度を向上させる、境界を保持するマスクR-CNN（BMask R-CNN）という新しいインスタンスセグメンテーションフレームワークを提案する。追加の装飾を加えずに、Mask R-CNNに比べてCOCOで1.7%、Cityscapesで2.2%のAP向上を達成しており、特に厳格なIoU閾値下でも顕著な改善が見られる。

ABSTRACT

Tremendous efforts have been made to improve mask localization accuracy in instance segmentation. Modern instance segmentation methods relying on fully convolutional networks perform pixel-wise classification, which ignores object boundaries and shapes, leading coarse and indistinct mask prediction results and imprecise localization. To remedy these problems, we propose a conceptually simple yet effective Boundary-preserving Mask R-CNN (BMask R-CNN) to leverage object boundary information to improve mask localization accuracy. BMask R-CNN contains a boundary-preserving mask head in which object boundary and mask are mutually learned via feature fusion blocks. As a result, the predicted masks are better aligned with object boundaries. Without bells and whistles, BMask R-CNN outperforms Mask R-CNN by a considerable margin on the COCO dataset; in the Cityscapes dataset, there are more accurate boundary groundtruths available, so that BMask R-CNN obtains remarkable improvements over Mask R-CNN. Besides, it is not surprising to observe that BMask R-CNN obtains more obvious improvement when the evaluation criterion requires better localization (e.g., AP$_{75}$) as shown in Fig.1. Code and models are available at \url{https://github.com/hustvl/BMaskR-CNN}.

研究の動機と目的

• マスクR-CNNにおけるオブジェクト境界と形状を無視することで生じる粗い、不正確なマスク予測の問題を解消すること。
• マスク予測時に境界情報を明示的に活用することで、マスク局所化精度を向上させること。
• マスクと境界を特徴マッピングを通じて同時に学習する統一ネットワークを設計し、境界の整合性を向上させること。
• 境界の監視がマスク品質に与える影響、特に高いIoU閾値下での影響を調査すること。
• 既存のマスクR-CNNフレームワークに容易に統合可能な、シンプルだが効果的なベースラインを提供すること。

提案手法

• 標準のマスクヘッドを、マスクと境界を並列に予測する境界保持型マスクヘッドに置き換える。
• 境界とマスク予測ブランチ間の双方向特徴相互作用を可能にするために、2つの特徴マッピングブロックを導入する。
• クラスの不均衡と疎なアノテーションに対処するため、バイナリクロスエントロピー損失とDice損失の組み合わせを用いて境界予測を最適化する。
• アブレーションのバリエーションとして、予測マスクにSobel演算子を適用して境界特徴を生成するSobelマスクヘッドを設計する。
• COCOおよびCityscapesで、ResNet-50-FPNおよびResNet-101-FPNバックボーンを用いて、標準的なトレーニングプロトコルに従い、エンドツーエンドでモデルを訓練する。
• 境界特徴からの形状と局所化のヒントを活用してマスク予測を精緻化し、正解アノテーションとの整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 明示的な境界監視は、インスタンスセグメンテーションにおけるマスク局所化精度を向上させ得るか？
• RQ2 特徴マッピングを通じたマスクと境界の共同学習は、マスク品質と境界精度にどのように影響を与えるか？
• RQ3 BMask R-CNNの性能向上は、より高いIoU閾値下でも顕著に現れるか？これは、局所化精度の向上を示唆する。
• RQ4 境界損失の選択（BCE + Dice）は、訓練の安定性と境界予測品質にどのように影響を与えるか？
• RQ5 単純なSobelベースの境界ヘッドは、専用の境界ブランチの有効な代替手段となり得るか？

主な発見

• COCOバリデーションセットにおいて、BMask R-CNNはマスクR-CNNに比べて1.7%の絶対的AP向上を達成しており、さまざまなバックボーンで一貫した改善が見られる。
• Cityscapesテストセットでは、BMask R-CNNがマスクR-CNNに比べて2.2%のAP向上を達成しており、高品質なアノテーション下での優れた性能を示している。
• 高いIoU閾値（例：AP75）下でも顕著な改善が見られることから、局所化精度の向上が裏付けられている。
• Sobelマスクヘッドのバリエーションは34.0のAPを達成し、マスクR-CNNに比べ0.8のAP向上を示したが、本手法に比べ0.7のAP低下を示した。
• 定性的な結果から、BMask R-CNNはマスクR-CNNに比べ、重複が少なく、はっきりとしたマスクとより良い境界整合性を実現している。
• アブレーションスタディの結果、特徴マッピングブロックと境界特徴が性能向上に顕著に寄与しており、設計選択の妥当性が裏付けられた。