[論文レビュー] PolyTransform: Deep Polygon Transformer for Instance Segmentation

Justin Liang, Namdar Homayounfar+4 more|arXiv (Cornell University)|Dec 5, 2019

Advanced Neural Network Applications参考文献 64被引用数 13

ひとこと要約

PolyTransform は、初期セグメンテーションマスクをポリゴンに変換し、微分可能で変形可能なネットワークによって精緻化することで、マスクの正確性を向上させる新規なインスタンスセグメンテーションフレームワークである。Cityscapes（テストリーダーボードで1位、SOTA比+3.7 AP）で最先端の性能を達成するとともに、インタラクティブな設定下でアノテーション時間を35%短縮する。

ABSTRACT

In this paper, we propose PolyTransform, a novel instance segmentation algorithm that produces precise, geometry-preserving masks by combining the strengths of prevailing segmentation approaches and modern polygon-based methods. In particular, we first exploit a segmentation network to generate instance masks. We then convert the masks into a set of polygons that are then fed to a deforming network that transforms the polygons such that they better fit the object boundaries. Our experiments on the challenging Cityscapes dataset show that our PolyTransform significantly improves the performance of the backbone instance segmentation network and ranks 1st on the Cityscapes test-set leaderboard. We also show impressive gains in the interactive annotation setting. We release the code at https://github.com/uber-research/PolyTransform.

研究の動機と目的

• ディープラーニングベースのインスタンスセグメンテーションにおける過剰に滑らかすぎるマスクの問題を是正し、微細な幾何的詳細を保持すること。
• 固定ポリゴン手法の硬直性がオクルージョンや離断されたオブジェクト部品を処理するのを妨げるのを克服し、適応的ポリゴン変形を可能にすること。
• 最小限の手動補正で済む正確な初期ポリゴンを生成することで、インタラクティブアノテーションの効率を向上させること。
• 多様なバックボーンネットワークや初期化手法に一般化しながらも、一貫した性能向上を維持すること。
• ロボットや自動運転システムへの実用的導入を可能にするリアルタイム推論を実現すること。

提案手法

• まず、入力画像からセグメンテーションバックボーン（例：DeepLabV3+）が初期インスタンスマスクを生成する。
• 各予測マスクは、輪郭抽出を用いてポリゴンの集合に変換され、幾何的初期化がなされる。
• 学習可能な変形ネットワークが、各ポリゴンの頂点ごとの変位を予測し、アテンションまたはグラフベースのメカニズムを用いて頂点間の依存関係をモデル化する。
• 変形プロセスは微分可能であり、オブジェクト境界にポリゴンを最適に一致させるために、エンドツーエンドの学習が可能である。
• 最終的に精緻化されたポリゴンは、セグメンテーション予測およびインタラクティブアノテーションの両方で使用され、ユーザーが直接頂点を編集可能である。
• 1オブジェクトあたりのポリゴン数を可変にすることで、オクルージョンや断片化されたインスタンスを自然に処理できる。

実験結果

リサーチクエスチョン

• RQ1 標準のマスクヘッドと比較して、ポリゴンベースの精緻化は、インスタンスセグメンテーションにおけるマスク精度および境界精度を顕著に向上させるか？
• RQ2 微分可能なポリゴン変形モジュールは、多様なセグメンテーションバックボーンや初期化品質のレベルにわたってどれほど一般化可能か？
• RQ3 本手法は、最先端のインタラクティブアノテーションシステムと比較して、アノテーション速度および正確性の面で優れているか？
• RQ4 複雑なオクルージョンや曖昧なオブジェクト境界下でも、モデルは高い性能を維持できるか？
• RQ5 本システムは、実世界のアノテーションパイプラインにおいて推論速度と実用的有用性を満たしているか？

主な発見

• PolyTransform は Cityscapes のテストセットリーダーボードで1位を達成し、前回のSOTAを3.7 AP、境界評価指標で10.3ポイント上回った。
• Cityscapes のバリデーションセットでは、バックボーンモデルの性能を3.0 AP、境界評価指標で10.3ポイント向上させた。
• 新しい自動運転データセットでは、初期化精度を2.1 AP、境界評価指標で5.6ポイント向上させた。
• インタラクティブアノテーションにおいて、PolyTransform は前回のSOTA（Curve GCN）を境界F1スコア（1px閾値）で2.0%上回った。
• PolyTransform の出力を用いたクラウドソーシングによるアノテーションでは、ベースライン手法と比較してアノテーション時間を35%短縮した。
• 1インスタンスあたり21msで実行され、Polygon-RNN++ よりも14倍速く、Curve GCN よりも1.4倍速く、リアルタイムデプロイメントを可能にした。