[論文レビュー] Deep Affinity Net: Instance Segmentation via Affinity

Xingqian Xu, Mang Tik Chiu+2 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Neural Network Applications参考文献 51被引用数 10

ひとこと要約

Deep Affinity Net (DaffNet) は、領域やキーポintsに依存せずに、ピクセル単位の類縁度を予測し、新規の段階的グラフ分割アルゴリズムである Cascade-GAEC を用いてインスタンスセグメンテーションを実現する類縁度ベースのフレームワークを提案する。Cityscapes 検証セットでは 32.4% AP、テストセットでは 27.5% AP を達成し、先行する類縁度ベースのモデルや Mask R-CNN を上回り、かつ前例のない 7 倍の高速化を実現した。

ABSTRACT

Most of the modern instance segmentation approaches fall into two categories: region-based approaches in which object bounding boxes are detected first and later used in cropping and segmenting instances; and keypoint-based approaches in which individual instances are represented by a set of keypoints followed by a dense pixel clustering around those keypoints. Despite the maturity of these two paradigms, we would like to report an alternative affinity-based paradigm where instances are segmented based on densely predicted affinities and graph partitioning algorithms. Such affinity-based approaches indicate that high-level graph features other than regions or keypoints can be directly applied in the instance segmentation task. In this work, we propose Deep Affinity Net, an effective affinity-based approach accompanied with a new graph partitioning algorithm Cascade-GAEC. Without bells and whistles, our end-to-end model results in 32.4% AP on Cityscapes val and 27.5% AP on test. It achieves the best single-shot result as well as the fastest running time among all affinity-based models. It also outperforms the region-based method Mask R-CNN.

研究の動機と目的

• 領域やキーポイントに依存するのではなく、学習されたピクセル類縁度に基づくインスタンスセグメンテーションの新しいパラダイムを提案すること。
• 固定グリッドでの類縁度予測の制限と、マルチカットグラフ分割における高い計算コストを解消すること。
• 1 ストロークの推論と低遅延を実現する、スケーラブルでエンドツーエンドのモデルを構築すること。
• 類縁度ベースの手法が、Mask R-CNN のような領域ベースのモデルを、精度と速度の両面で上回れることを実証すること。

提案手法

• DaffNet は、複数スケールでセマンティックマップ、類縁度マップ、グループ化埋め込みを生成するため、特徴ピラミッドネットワーク（FPN）バックボーンを用いる。
• 新規のグループ化モジュールにより、任意のグリッド間隔での類縁度の予測と利用が可能となり、離散的な部分の再構築が向上する。
• Cascade-GAEC は、グリーディーマルチカットアルゴリズム GAEC を段階的な構造と統合し、低解像度のマップから処理を開始し、高解像度のセグメンテーションを段階的に精錬する。
• 位置を意識した GAEC（PA-GAEC）は、グラフ分割におけるラベル割り当て時に空間的文脈を組み込むことで、精度を向上させる。
• グリーディー関連（GAS）モジュールは、高コストな優先度キュー処理をランダム順のラベル割り当てに置き換えることで、処理を高速化する。
• 最適なパフォーマンスを得るため、スケールに応じた類縁度損失を用いて、減衰係数（0.25, 0.5, 1, 1）を適用してエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスやキーポイントに依存せずに、学習された類縁度を主な信号として用いることで、インスタンスセグメンテーションが有効に解決できるか？
• RQ2 固定グリッド間隔を超えて類縁度予測を拡張することで、複雑で断片的なインスタンスのセグメンテーションが向上するか？
• RQ3 段階的グラフ分割戦略により、計算コストを低減しつつ、セグメンテーションの精度を維持または向上できるか？
• RQ4 マルチカットに基づくセグメンテーションにおいて、グリーディー加速を用いる際の、速度と精度のトレードオフは何か？

主な発見

• DaffNet は、1 ストロークの推論で Cityscapes 検証セットで 32.4% AP、テストセットで 27.5% AP を達成し、すべての先行する類縁度ベースのモデルを上回った。
• モデルは領域ベースの Mask R-CNN を上回り、より高い精度とより速い推論を実現した。
• Cascade-GAEC は 1 枚の Cityscapes 画像を 0.24 秒で処理でき、前例のない 7 倍の高速化を達成した。
• アブレーションスタディにより、グループ化モジュールが 4.2% の AP 向上を寄与し、PA-GAEC が 1.6%、GAS を含む完全な Cascade-GAEC が 32.4% の AP を達成したことが確認された。
• GAS 加速モジュールの導入により、1 枚あたり 0.14 秒の推論時間が短縮されたが、検証セットで 0.4%、テストセットで 0.5% の AP の低下が生じた。
• Cascade-GAEC の実用的実行時間は、画像サイズにほぼ線形的に増加するため、高解像度入力への効率的スケーリングが可能である。