[論文レビュー] Look Closer to Segment Better: Boundary Patch Refinement for Instance Segmentation

Chufeng Tang, Hang Chen+4 more|arXiv (Cornell University)|Apr 12, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、予測されたインスタンス境界に沿って切り出された小さな高解像度パッチを精錬することで、境界品質を向上させるpost-processingフレームワークであるBoundary Patch Refinement (BPR)を提案する。これらの局所的パッチに特化した精錬ネットワークを適用することにより、BPRはMask R-CNNに比べてCityscapesで+4.3%のAPを達成し、PolyTransform + SegFixと組み合わせることでSOTA性能（42.7% AP）を達成する。

ABSTRACT

Tremendous efforts have been made on instance segmentation but the mask quality is still not satisfactory. The boundaries of predicted instance masks are usually imprecise due to the low spatial resolution of feature maps and the imbalance problem caused by the extremely low proportion of boundary pixels. To address these issues, we propose a conceptually simple yet effective post-processing refinement framework to improve the boundary quality based on the results of any instance segmentation model, termed BPR. Following the idea of looking closer to segment boundaries better, we extract and refine a series of small boundary patches along the predicted instance boundaries. The refinement is accomplished by a boundary patch refinement network at higher resolution. The proposed BPR framework yields significant improvements over the Mask R-CNN baseline on Cityscapes benchmark, especially on the boundary-aware metrics. Moreover, by applying the BPR framework to the PolyTransform + SegFix baseline, we reached 1st place on the Cityscapes leaderboard.

研究の動機と目的

• 小サイズの物体や細部に対して、継続的に不正確なセグメンテーション境界が生じる問題に取り組む。
• 低解像度特徴マップやクラスの不均衡による制限を克服し、境界ピクセルが過小代表され、適切に最適化されない問題を解消する。
• 再トレーニングやアーキテクチャの変更なしに、既存のインスタンスセグメンテーションモデルを効果的に向上させる、プラグアンドプレイのpost-processingソリューションを開発する。
• 人間のアノテーション行動を模倣するために、局所的で高解像度の境界分析に焦点を当て、マスクの精度を向上させる。
• バックボーンモデルを変更せずに、Cityscapesベンチマークで最先端の性能を達成するための効果的な境界精錬を実現する。

提案手法

• ベースセグメンテーションモデルの各インスタンスマスクの予測境界を中心に、小さな高解像度画像パッチを抽出する。
• 各境界パッチをその対応するマスクパッチと連結して、精錬用のマルチチャネル入力を形成する。
• 高解像度精錬ネットワーク（例：HRNetV2-W48）を適用し、各境界パッチに対してバイナリセグメンテーションを実行してマスク境界を精錬する。
• 空間的アライメントと非最大抑制（NMS）を用いて、精錬されたパッチを再構成し、完全で高品質なインスタンスマスクを生成する。
• 細粒度の詳細を保持するために、パッチを64×64から256×256にリサイズする多スケール入力戦略を採用する。
• 推論時に、重複する予測を抑制し境界の連続性を向上させるために、閾値0.55のNMSを適用する。

実験結果

リサーチクエスチョン

• RQ1 ベースモデルを変更せずに、局所的境界パッチを精錬するpost-processingフレームワークが、インスタンスセグメンテーションの境界品質を顕著に向上させられるか。
• RQ2 高解像度パッチ精錬は、インスタンスセグメンテーションにおける低解像度特徴マップの影響をどの程度軽減できるか。
• RQ3 局所的パッチにおける境界ピクセルの相対的割合を増加させることで、最適化バイアスが緩和され、セグメンテーション精度が向上するか。
• RQ4 提案手法は、さまざまなインスタンスセグメンテーションベースラインに一般化可能であり、標準ベンチマークで最先端の結果を達成できるか。
• RQ5 COCOのような挑戦的なデータセットでは、特に高品質なアノテーションを使用した場合、このフレームワークはどの程度の性能を示すか。

主な発見

• BPRは、ベースラインのMask R-CNN ResNeXt-FPN-101に比べて、Cityscapesの検証セットおよびテストセットでそれぞれ+4.3%のAP向上を達成した。
• PolyTransform + SegFixベースラインに適用した場合、BPRはCityscapesテストセットでさらに2.3%のAP向上を達成し、元のPolyTransform + SegFix設定を上回った。
• PolyTransform + BPRの組み合わせは、Cityscapesテストで42.7%のAPを達成し、CVPR 2021提出締切時点でCityscapesリーダーボード1位を獲得した。
• COCOデータセットでは、BPRはベースラインのMask R-CNN ResNeXt-FPN-101に対して0.8%のAP向上を達成し、より高品質なLVISアノテーションを使用した場合に1.7%のAP⋆向上を示した。これは、より複雑なデータセットに対しても一般化可能であることを示している。
• このフレームワークは効率的であり、単一のRTX 2080Ti GPUで1024×2048のCityscapes画像を約211msで処理でき、PolyTransformなどの以前の手法よりもはるかに高速であった。
• 定性的な結果から、BPRは過剰に滑らかになるのを効果的に低減し、特に小さな物体や複雑な物体の周囲で、より鋭く正確な境界を生成することが明らかになった。