[論文レビュー] BoundarySqueeze: Image Segmentation as Boundary Squeezing

Hao He, Xiangtai Li+6 more|arXiv (Cornell University)|May 25, 2021

Advanced Neural Network Applications参考文献 80被引用数 8

ひとこと要約

この論文では、境界を二方向の流れベースのワープによって refining する境界圧縮プロセスとして、インスタンスセグメンテーションとセマンティックセグメンテーションを扱う、新しい画像セグメンテーション手法 BoundarySqueeze を提案する。形態的膨張・収縮を監視信号として用いることで、軽量な境界圧縮モジュールが境界の正確性を向上させ、COCO および Cityscapes で PointRend より 1.0–1.1 mIoU の向上を達成し、より高速な推論を実現した。

ABSTRACT

This paper proposes a novel method for high-quality image segmentation of both objects and scenes. Inspired by the dilation and erosion operations in morphological image processing techniques, the pixel-level image segmentation problems are treated as squeezing object boundaries. From this perspective, a novel and efficient extbf{Boundary Squeeze} module is proposed. This module is used to squeeze the object boundary from both inner and outer directions, which contributes to precise mask representation. A bi-directionally flow-based warping process is proposed to generate such squeezed feature representation, and two specific loss signals are designed to supervise the squeezing process. The Boundary Squeeze module can be easily applied to both instance and semantic segmentation tasks as a plug-and-play module by building on top of some existing methods. Moreover, the proposed module is light-weighted, and thus has potential for practical usage. Experiment results show that our simple yet effective design can produce high-quality results on several different datasets. Besides, several other metrics on the boundary are used to prove the effectiveness of our method over previous work. Our approach yields significant improvement on challenging COCO and Cityscapes datasets for both instance and semantic segmentation, and outperforms previous state-of-the-art PointRend in both accuracy and speed under the same setting. Codes and models will be published at \url{https://github.com/lxtGH/BSSeg}.

研究の動機と目的

• ディープラーニングベースの画像セグメンテーションにおける境界局所化の不正確さ、特に細粒度のオブジェクトディテールについての課題に取り組む。
• PointRend らのような既存手法の限界を克服する。PointRend は一様でない点サンプリングに依存しており、構造的ガイドなしで曇った境界で失敗する。
• 形態的画像処理にインspiredされた共通の境界中心のパラダイムにより、インスタンスセグメンテーションとセマンティックセグメンテーションを統合する。
• アーキテクチャの再設計なしに既存のネットワークを強化できる、プラグアンドプレイ型モジュールを開発する。精度と効率の両方を向上させる。

提案手法

• 双方向の流れベースの特徴ワープによる境界精錬を実行する、軽量でエンドツーエンドトレーニング可能な境界圧縮モジュール（BSM）を提案する。
• 特徴マップの流れベースのワープを用いて、収縮（外側から境界へ）と拡張（内側から境界へ）の両流れを学習する、圧縮特徴生成器（SFG）を設計する。
• 二つの流れブランチの監視信号として、真値マスクの形態的膨張および収縮を用い、データ駆動型の境界精錬を可能にする。
• Mask R-CNN や DeeplabV3+ などの既存のセグメンテーションフレームワークに、インスタンスおよびセマンティックセグメンテーションの両方でプラグインモジュールとして BSM を統合する。
• 境界特徴品質を監視するため、収縮流れ用と拡張流れ用の二つの補助損失を用いてネットワークを訓練する。
• ランダムリサイズ、クロップ、水平反転の増強を適用し、COCO、Cityscapes、BDD100K での学習に poly 学習率スケジューリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 境界を動的圧縮プロセスとしてモデル化することで、境界中心のアプローチが画像セグメンテーションにおけるマスク精度を向上させ得るか？
• RQ2 学習された流れフィールドを用いた二方向（内側および外側）の境界圧縮は、点ベースや一様な特徴精錬に比べ、より正確で構造的な境界予測をもたらすか？
• RQ3 BSM のような軽量でプラグアンドプレイ型モジュールが、アーキテクチャの変更なしにインスタンスおよびセマンティックセグメンテーションの両タスクで最先端の性能を達成できるか？
• RQ4 特にコントラストが低く、細粒度のオブジェクト境界が難しい状況において、PointRend と比較して境界の正確性はどの程度向上するか？
• RQ5 形態的演算（膨張・収縮）を監視信号として用いることで、一般化性能および境界局所化の精度はどの程度向上するか？

主な発見

• COCO インスタンスセグメンテーションベンチマークにおいて、ResNet-50 を用いた場合、PointRend より 1.0 mIoU の向上を達成し、ResNet-101 を用いた場合は 1.1 mIoU の向上を示した。両者ともに同一のトレーニングおよび推論設定下で評価された。
• Cityscapes セマンティックセグメンテーションデータセットにおいて、同様に PointRend より 1.0–1.1 mIoU の向上を示した。特に低スコア閾値（細かい境界を示す）で顕著な改善が確認された。
• BDD10000 データセットにおいて、ベースラインの DeeplabV3+ や PointRnd よりも一貫した性能向上を示し、多様なシーンタイプにわたる強力な一般化能力を示した。
• 可視化結果から、BSM はより細く正確な境界特徴と予測を生成しており、明確な収縮および拡張の流れフィールドが正確なマスク精錬をガイドしていることが確認された。
• PointRend よりも精度と速度の両面で優れており、適応的点レンダリングよりも、流れベースのワープ機構がより効率的かつ効果的であることが示された。
• BSM のプラグアンドプレイ性により、Mask R-CNN や DeeplabV3+ といった既存モデルへのシームレスな統合が可能となり、バックボーンの再トレーニングや主要アーキテクチャの変更なしに一貫した性能向上が得られた。