[論文レビュー] RefineMask: Towards High-Quality Instance Segmentation with Fine-Grained Features

Gang Zhang, Xin Lu+5 more|arXiv (Cornell University)|Apr 17, 2021

Advanced Neural Network Applications参考文献 30被引用数 5

ひとこと要約

RefineMaskは、マスク予測プロセスに段階的に詳細な特徴を組み込むことで、境界の正確性を著しく向上させるマルチステージのリファインフレームワークを提案する。高解像度のセマンティック特徴とRoIアライメント特徴を段階的なアップサンプリングと境界に配慮したリファインによって融合することで、COCO、LVIS、CityscapesでMask R-CNNに比べ2.6–3.8 APの向上を達成し、LVIS 2020チャレンジ優勝者をテストデブセットで1.3 AP上回る最先端の性能を実現した。

ABSTRACT

The two-stage methods for instance segmentation, e.g. Mask R-CNN, have achieved excellent performance recently. However, the segmented masks are still very coarse due to the downsampling operations in both the feature pyramid and the instance-wise pooling process, especially for large objects. In this work, we propose a new method called RefineMask for high-quality instance segmentation of objects and scenes, which incorporates fine-grained features during the instance-wise segmenting process in a multi-stage manner. Through fusing more detailed information stage by stage, RefineMask is able to refine high-quality masks consistently. RefineMask succeeds in segmenting hard cases such as bent parts of objects that are over-smoothed by most previous methods and outputs accurate boundaries. Without bells and whistles, RefineMask yields significant gains of 2.6, 3.4, 3.8 AP over Mask R-CNN on COCO, LVIS, and Cityscapes benchmarks respectively at a small amount of additional computational cost. Furthermore, our single-model result outperforms the winner of the LVIS Challenge 2020 by 1.3 points on the LVIS test-dev set and establishes a new state-of-the-art. Code will be available at https://github.com/zhanggang001/RefineMask.

研究の動機と目的

• Mask R-CNNのような2段階インスタンスセグメンテーション手法における粗いマスク品質を是正すること。これは、ダウンサンプリングとRoIプーリングによって細部が失われるためである。
• マスク予測中に高解像度特徴を保持・統合することで、インスタンスセグメンテーションの境界の正確性を向上させること。
• 追加のデータや複雑なアーキテクチャに依存せずに、マスク品質を向上させる軽量でマルチステージのリファインメカニズムを開発すること。
• LVIS や Cityscapes のような困難なベンチマークで、インスタンスセグメンテーションの新たな最先端を確立すること。

提案手法

• FPNの最高解像度特徴マップ（P2レベル）からの詳細な特徴を段階的にアップサンプリングしながら組み込む、マルチステージのリファインヘッドを導入する。
• エッジに敏感な特徴に注目することで境界領域のマスク正確性を明示的に向上させる、境界に配慮したリファイン戦略を採用する。
• 各リファイン段階で、スキップ接続と連結を用いて高解像度のセマンティック特徴（FPNのP2レベル）とインスタンス固有の特徴を統合する。
• 各段階で文脈的なインスタンス特徴と詳細な空間的詳細を用いてマスク予測を段階的にリファインする、変更を加えたマスクヘッドを採用する。
• 初期特徴抽出にはRoIAlignを活用するが、各リファインステップで高解像度特徴を統合することで、早期のダウンサンプリングを回避する。
• 標準的なクロスエントロピー損失とDice損失を用いてエンドツーエンドでモデルを訓練し、マスク品質と境界の正確性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 詳細な特徴を用いた反復的リファインは、2段階インスタンスセグメンテーションにおけるマスク品質を著しく向上させることができるか？
• RQ2 複数段階にわたり高解像度のセマンティック特徴を統合することで、標準的なRoIベースの手法と比較して境界の正確性がどのように向上するか？
• RQ3 追加のデータや複雑な検出ヘッドを用いずに、マルチステージリファインヘッドはPointRend や HTC などの最先端手法を上回ることができるか？
• RQ4 境界に配慮したリファイン戦略は、LVIS や Cityscapes のような詳細なアノテーションを持つデータセットで測定可能な向上をもたらすか？
• RQ5 1つのモデルであるRefineMaskは、追加の人工作業アノテーションデータを一切使用せずに、LVIS Challenge 2020 優勝者を上回ることができるか？

主な発見

• COCO val2017でMask R-CNNに比べ2.6 APの向上を達成し、LVISとCityscapesではそれぞれ3.4および3.8 APの向上を示し、複数のデータセットで一貫した性能向上を実証した。
• LVISv1.0のテストデブセットにおいて、RefineMaskはLVIS Challenge 2020 優勝者を1.3 AP上回り、新たな最先端を確立した。
• LVISにおける大規模オブジェクトでは、Mask R-CNNに比べ6.0 APの向上を達成し、複雑で詳細な領域の処理における有効性を示した。
• Cityscapesでは、Mask R-CNNに比べ3.8 APの向上を達成し、特に細部のオブジェクト部品や境界の難しいケースで優れた性能を示した。
• 定性的な結果から、RefineMaskは一部のケースで正解マスクよりも高い品質のマスクを生成しており、特に鋭い境界において顕著で、より厳密な評価指標の必要性を示唆している。
• 計算コストの増加はわずかであり、実世界の展開において実用的である。