[論文レビュー] E2EC: An End-to-End Contour-based Method for High-Quality High-Speed Instance Segmentation

Tao Zhang, S. Wei+1 more|arXiv (Cornell University)|Mar 8, 2022

Image Retrieval and Classification Techniques被引用数 11

ひとこと要約

E2ECは、手作業で設計された輪郭初期化を学習可能なアーキテクチャに置き換え、ラベルサンプリングに多方向整合性を用い、境界品質を向上させるために動的マッチング損失を導入するエンドツーエンドの輪郭ベースのインスタンスセグメンテーション手法である。COCOで36.5 AP detおよび34.0 AP mskの最先端性能を達成するとともに、512×512の画像で36 fpsのリアルタイム推論を維持している。

ABSTRACT

Contour-based instance segmentation methods have developed rapidly recently but feature rough and hand-crafted front-end contour initialization, which restricts the model performance, and an empirical and fixed backend predicted-label vertex pairing, which contributes to the learning difficulty. In this paper, we introduce a novel contour-based method, named E2EC, for high-quality instance segmentation. Firstly, E2EC applies a novel learnable contour initialization architecture instead of hand-crafted contour initialization. This consists of a contour initialization module for constructing more explicit learning goals and a global contour deformation module for taking advantage of all of the vertices' features better. Secondly, we propose a novel label sampling scheme, named multi-direction alignment, to reduce the learning difficulty. Thirdly, to improve the quality of the boundary details, we dynamically match the most appropriate predicted-ground truth vertex pairs and propose the corresponding loss function named dynamic matching loss. The experiments showed that E2EC can achieve a state-of-the-art performance on the KITTI INStance (KINS) dataset, the Semantic Boundaries Dataset (SBD), the Cityscapes and the COCO dataset. E2EC is also efficient for use in real-time applications, with an inference speed of 36 fps for 512*512 images on an NVIDIA A6000 GPU. Code will be released at https://github.com/zhang-tao-whu/e2ec.

研究の動機と目的

• 既存の輪郭ベースのインスタンスセグメンテーション手法が、手作業で設計された初期輪郭と固定された頂点ペアリングに依存しているため、学習の難易度が高く、境界品質が劣ることが問題であることを解決すること。
• 予測値と真値の頂点ペアリングをより柔軟かつ最適に可能にする多方向整合性（MDA）ラベルサンプリング方式を導入することで、学習の難易度を低減すること。
• トレーニング中に予測頂点と真値頂点のペアリングを適応的に制御する動的マッチング損失（DML）関数を提案し、境界の詳細品質を向上させること。
• すべての頂点からの特徴を活用するグローバルな輪郭変形モジュールを統合することで、局所的な近隣特徴の集約よりも優れたグローバルな文脈を活用し、高い精度とリアルタイム推論速度を実現すること。
• 他の手法に容易に適応可能な、強固で汎用性の高い輪郭ベースのインスタンスセグメンテーションのベースラインを確立すること。

提案手法

• E2ECは、手作業で設計された初期輪郭の代わりに、中心点特徴から直接全初期輪郭を回帰する学習可能な輪郭初期化アーキテクチャを採用し、固定されたレイヤー基準や形状基準の初期化を回避する。
• すべての頂点と中心点の特徴を用いるグローバルな輪郭変形モジュールを導入し、局所的集約よりも優れたグローバル文脈の活用を可能にする。
• 多方向整合性（MDA）方式により、複数の方向にわたり動的にラベルをサンプリングすることで、最適でない頂点ペアリングを回避し、学習の難易度を低減し、収束を促進する。
• トレーニング中に予測頂点と真値頂点の最も適切なペアを自動で同定する動的マッチング損失（DML）関数を提案し、境界の詳細な学習を強化する。
• 検出とセグメンテーションを1つのパイプラインに統合したエンドツーエンドのトレーニングを実施し、別個の検出器のトレーニングを不要にする。
• 軽量なDLa-34バックボーンを採用し、精度を損なわず高速な推論を実現する。

Figure 1 : The ideal deformation paths of several contour-based methods. White boundaries and points are the initial contours, blue lines are the deformation paths, and black points are the alignment points.

実験結果

リサーチクエスチョン

• RQ1 学習可能な輪郭初期化アーキテクチャは、手作業で設計された形状と比較して、トレーニングの難易度を顕著に低減し、初期輪郭の品質を向上させることができるか？
• RQ2 多方向整合性（MDA）は、輪郭ベースのインスタンスセグメンテーションにおけるより柔軟なラベルサンプリングを可能にすることで、収束速度の向上と性能の向上をもたらすか？
• RQ3 トレーニング中に頂点ペアリングを適応的に制御する動的マッチング損失関数は、境界の詳細な正確性とセグメンテーション品質を向上させることができるか？
• RQ4 エンドツーエンドの輪郭ベース手法は、標準ベンチマークで最先端の性能を達成しながら、リアルタイムの推論速度を維持できるか？
• RQ5 E2ECは、既存の1段階および2段階のインスタンスセグメンテーションモデルと比較して、精度、速度、境界品質の観点でどのように差をつけるか？

主な発見

• COCOデータセットでは、E2ECは36.5 AP det、34.0 AP msk、33.3 AP bdyを達成し、Deep Snakeを3.7 AP det、2.7 AP msk、3.1 AP bdy上回った。
• SBDデータセットでは、E2ECはDeep Snakeより4.8 AP msk、8.3 AP bdyを上回り、AP${}_{75}^{msk}$では9.1ポイント高い結果を示し、優れた境界詳細の学習能力を示した。
• Cityscapesでは、E2ECはテストセットで32.9 AP msk（Deep Snakeより1.2ポイント高い）を達成し、バリデーションセットではマルチコンポonent検出で39.0 AP mskを記録。PANetを1.1 AP msk上回った。
• E2ECはCOCOで33.8 AP mskを達成し、30.1 fpsの推論速度を維持。Deep Snakeを3.5 AP msk上回ったが、高い速度を維持した。
• より高速なバージョンであるE2EC*は、54.3 fpsで31.7 AP mskを達成（Deep Snakeの約2倍の速度）でありながら、依然として1.4 AP mskの優位性を示した。
• 動的マッチング損失とグローバル変形モジュールは、AP bdyの上昇と、タイヤやミラーの細部を正確にセグメンテーションする視覚的結果から、境界品質の顕著な向上が確認された。

Figure 2 : Overview of E2EC. E2EC consists of a learnable contour initialization architecture including a contour initialization and a global deformation module that produces the coarse contour, and a contour refinement module that produces the final contour with the supervision of DML.