[論文レビュー] PanoNet: Real-time Panoptic Segmentation through Position-Sensitive Feature Embedding

Xia Chen, Jianren Wang+1 more|arXiv (Cornell University)|Aug 1, 2020

Robotics and Sensor-Based Localization参考文献 54被引用数 10

ひとこと要約

PanoNet は、位置に敏感な特徴埋め込みを用いた単一段階・軽量な FCN アーキテクチャにより、セマンティックセグメンテーションとインスタンスセグメンテーションを統合するリアルタイムのパノプティックセグメンテーションフレームワークである。ピクセル単位の埋め込みに空間座標を組み込むことで、2048×1024 の画像に対して 20 FPS の推論速度を達成し、メモリ使用量はたったの 3 GB に抑えられ、速度と精度のトレードオフにおいて先行研究を上回りながらも、高いパノプティック品質（PQ: 55.1）を維持している。

ABSTRACT

We propose a simple, fast, and flexible framework to generate simultaneously semantic and instance masks for panoptic segmentation. Our method, called PanoNet, incorporates a clean and natural structure design that tackles the problem purely as a segmentation task without the time-consuming detection process. We also introduce position-sensitive embedding for instance grouping by accounting for both object's appearance and its spatial location. Overall, PanoNet yields high panoptic quality results of high-resolution Cityscapes images in real-time, significantly faster than all other methods with comparable performance. Our approach well satisfies the practical speed and memory requirement for many applications like autonomous driving and augmented reality.

研究の動機と目的

• セマンティックセグメンテーションとインスタンスセグメンテーションを統合するリアルタイムで効率的なパノプティックセグメンテーション手法の不足に対処すること。
• 外観が似たオブジェクトを区別できない標準の FCN の限界を、特徴埋め込みに空間的位置を組み込むことで克服すること。
• セマンティックセグメンテーションとインスタンスセグメンテーションの両ブランチでバックボーン特徴を共有する一貫した一段階的でエンドツーエンドのフレームワークを設計し、効率を向上させること。
• 高解像度入力においても、セグメンテーション品質を損なわずに高速な推論速度と低メモリ使用量を達成すること。
• 低遅延・高精度なシーン理解を要する実世界の応用、たとえば自動運転や拡張現実に実用的なソリューションを提供すること。

提案手法

• セマンティックセグメンテーションとインスタンスセグメンテーションの両タスクに共通のエンコーダーバックボーン（例：ICNet）を用いる一貫した一段階的パノプティックセグメンテーションネットワーク（PanoNet）を提案する。
• 空間座標（座標マップ）を学習済みの特徴埋め込みに連結することで、FCN の並進不変性を打ち破る位置に敏感な特徴埋め込みを導入する。
• 異なるインスタンスに対して明確に分離された埋め込みを促進すると同時に空間的一致性を維持するように、判別的損失でネットワークを訓練する。
• 学習済みの埋め込みに対してクラスタリングベースの後処理を実施し、外観と空間的近接性の両方を考慮してインスタンスマスクを生成する。
• パラメータ数が少なく（12M）、メモリ使用量も低い（3 GB）軽量なアーキテクチャを設計することで、コンsumer GPU 上でのリアルタイム推論を可能にする。
• モデル圧縮のための共有重みバージョンを採用したが、浅い層のみを共有した場合、性能はわずかに低下する（PQ: 52.3）ことに注意。

実験結果

リサーチクエスチョン

• RQ1 領域提案に依存せずに、高解像度画像上でリアルタイム推論を達成できる一貫した一貫的エンドツーエンドのパノプティックセグメンテーションフレームワークは可能か？
• RQ2 ピクセル単位の特徴埋め込みに空間的位置を組み込むことで、特に外観が似たオブジェクトに対してインスタンスセグメンテーション性能が顕著に向上するか？
• RQ3 セマンティックセグメンテーションとインスタンスセグメンテーションのブランチ間でパrameterを共有する統一されたネットワーク構造は、計算コストを削減しながらも高い精度を維持できるか？
• RQ4 位置に敏感な埋め込みは、標準の FCN ベースの埋め込みクラスタリングの失敗事例（例：外観が似たオブジェクトが誤って結合される）をどの程度緩和できるか？
• RQ5 大幅に小型化されたモデルサイズと低メモリ使用量で最先端のパノプティック品質を達成することは可能か？ これによりリソース制限のあるデバイスへのデプロイが可能になるか？

主な発見

• PanoNet は、1枚の GPU 上で 2048×1024 の Cityscapes 画像に対して 3 GB の GPU メモリ使用量で 20 FPS の推論速度を達成し、単一 GPU 上で初めてのリアルタイムパノプティックセグメンテーションモデルである。
• 軽量な ICNet バックボーンを用いることで、PanoNet は Cityscapes 検証セットでパノプティック品質（PQ）55.1 を達成し、そのスピードと効率を考えると、最先端のモデルと同等の性能を示している。
• アブレーションスタディの結果、位置に敏感な埋め込みが、特に外観が同一または鏡像のオブジェクトに対してインスタンスセグメンテーションの AP を顕著に向上させることを確認した。
• 4台の車（2組の同一モデル）が鏡像に配置された画像において、非位置に敏感な埋め込みでは鏡像の車が1つのインスタンスに誤って統合されるが、位置に敏感な埋め込みでは4台すべてが正しく分離される。
• PanoNet はたった 1200 万パラメータで、4 GPU で効率的に訓練可能である。一方、他の最先端モデルは 16 以上の GPU を必要としており、PanoNet のトレーニング効率の高さが顕著に表れている。
• モデルのメモリ効率のおかげで、フル画像の推論が1回の順伝播で可能であり、大容量モデルが GPU メモリ制限を超えるのを避けるために必要な画像クロッピングの必要がなくなる。