[論文レビュー] SegFix: Model-Agnostic Boundary Refinement for Segmentation

Yuhui Yuan, Jingyi Xie+2 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Neural Network Applications参考文献 64被引用数 13

ひとこと要約

SegFix は、モデルに依存しない後処理手法であり、信頼性の低い境界予測を対応する内部ピクセルのラベルに置き換えることで、意味的セグメンテーションおよびインスタンスセグメンテーションの境界品質を向上させる。境界は学習された境界マップを用いて局所化され、内部対応を特定するための内向き方向ベクトルを推定する。リアルタイムに近い推論速度を達成し、Cityscapes、ADE20K、GTA5 などの複数のモデルおよびベンチマークで一貫した mIoU の向上を実現する。

ABSTRACT

We present a model-agnostic post-processing scheme to improve the boundary quality for the segmentation result that is generated by any existing segmentation model. Motivated by the empirical observation that the label predictions of interior pixels are more reliable, we propose to replace the originally unreliable predictions of boundary pixels by the predictions of interior pixels. Our approach processes only the input image through two steps: (i) localize the boundary pixels and (ii) identify the corresponding interior pixel for each boundary pixel. We build the correspondence by learning a direction away from the boundary pixel to an interior pixel. Our method requires no prior information of the segmentation models and achieves nearly real-time speed. We empirically verify that our SegFix consistently reduces the boundary errors for segmentation results generated from various state-of-the-art models on Cityscapes, ADE20K and GTA5. Code is available at: https://github.com/openseg-group/openseg.pytorch.

研究の動機と目的

• 最先端のセグメンテーションモデルにおける継続的な境界エラー、特に細い物体のエッジ付近での問題を解消すること。
• 元のセグメンテーションモデルへのアクセスや変更が不要な後処理手法を開発すること。
• 多様なモデルおよびデータセットで一貫したパフォーマンス向上を維持しつつ、高速な推論を達成すること。
• 最小限のアーキテクチャ変更で、意味的セグメンテーションおよびインスタンスセグメンテーションの両タスクに拡張可能な手法を構築すること。

提案手法

• まず、入力画像からのみ予測される学習済みのバイナリ境界マップを用いて境界ピクセルを局所化する。
• 次に、画像特徴量を用いて訓練された畳み込みネットワークを用いて、各境界ピクセルから内部ピクセルへ向かう方向マップを推定する。
• 各境界ピクセルに対して、予測された方向ベクトルに沿って固定距離移動することで、対応する内部ピクセルを特定する。
• 元の境界ピクセルのセグメンテーションラベルを、特定された内部ピクセルのラベルに置き換えることで、境界を効果的に精錬する。
• この全プロセスは、基本となるセグメンテーションモデルの再訓練やアーキテクチャ変更が不要な後処理ステップとして適用される。
• モデルは画像入力およびセグメンテーションの正例ラベルのみを用いてエンドツーエンドに訓練され、推論時にはセグメンテーション出力を使用しない。

実験結果

リサーチクエスチョン

• RQ1 元のセグメンテーションモデルを変更せず、後処理によりセグメンテーション境界品質を向上させることは可能か？
• RQ2 対応する内部ピクセルのラベルに境界予測を置き換えることで、多様なモデルおよびデータセットで一貫したパフォーマンス向上が得られるか？
• RQ3 モデルに依存しない、軽量な精錬メカニズムは、薄い境界での mIoU の向上を達成しつつ、ほぼリアルタイムの推論速度を実現できるか？
• RQ4 小規模な物体に対して、この手法はどれほど効果的か？（境界エラーに特に脆弱な対象）

主な発見

• Cityscapes では、評価されたすべてのモデルで mIoU が一貫して向上し、特に 'pole' カテゴリで最大 3.1%、'traffic light' で 2.7% の向上を達成した。
• Cityscapes の意味的セグメンテーションランクイングでは、'HRNet + OCR + SegFix' が 84.5% の mIoU を達成し、ECCV 2020 截止時点で第1位となった。
• インスタンスセグメンテーションでは、'PolyTransform + SegFix' が 41.2% の mAP を達成し、Cityscapes のインスタンスセグメンテーションランクイングで第2位となった。
• この手法はほぼリアルタイムの推論速度を達成しており、実世界のアプリケーションへの実装に実用的である。
• Cityscapes および ADE20K の両データセットで訓練された統合された SegFix モデルは、それぞれのデータセットに別々に訓練されたモデルと同等のパフォーマンスを達成した。
• 定性的な結果から、SegFix は人、ポール、交通標識などの細いエッジにおける境界アーティファクトを効果的に低減していることが示された。