[論文レビュー] PP-LiteSeg: A Superior Real-Time Semantic Segmentation Model

Juncai Peng, Yi Liu+14 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Neural Network Applications被引用数 135

ひとこと要約

PP-LiteSegは、CityscapesとCamVidにおけるリアルタイム意味セグメンテーションの最先端の精度と速度のトレードオフを達成するため、Flexible and Lightweight Decoder (FLD)、Unified Attention Fusion Module (UAFM)、Simple Pyramid Pooling Module (SPPM) の3つのモジュールを導入します。Cityscapesテストで72.0% mIoUを273.6 FPSで、CamVidテストで75.0% mIoUを154.8 FPSで報告します。

ABSTRACT

Real-world applications have high demands for semantic segmentation methods. Although semantic segmentation has made remarkable leap-forwards with deep learning, the performance of real-time methods is not satisfactory. In this work, we propose PP-LiteSeg, a novel lightweight model for the real-time semantic segmentation task. Specifically, we present a Flexible and Lightweight Decoder (FLD) to reduce computation overhead of previous decoder. To strengthen feature representations, we propose a Unified Attention Fusion Module (UAFM), which takes advantage of spatial and channel attention to produce a weight and then fuses the input features with the weight. Moreover, a Simple Pyramid Pooling Module (SPPM) is proposed to aggregate global context with low computation cost. Extensive evaluations demonstrate that PP-LiteSeg achieves a superior trade-off between accuracy and speed compared to other methods. On the Cityscapes test set, PP-LiteSeg achieves 72.0% mIoU/273.6 FPS and 77.5% mIoU/102.6 FPS on NVIDIA GTX 1080Ti. Source code and models are available at PaddleSeg: https://github.com/PaddlePaddle/PaddleSeg.

研究の動機と目的

• 実世界のアプリケーションに適した高精度かつリアルタイムの意味セグメンテーションの必要性に対応する。
• デコーダの計算を削減しつつ、エンコーダ-デコーダの効率性のバランスを取る。
• 注意機構を用いた融合を通じて特徴表現を強化する。
• 低い計算コストでグローバルコン텍ストを効率的に集約する。
• CityscapesとCamVidのデータセットで最先端のトレードオフを実証する。

提案手法

• 高レベルから低レベルの特徴へと段階的に特徴チャネルを減らすFlexible and Lightweight Decoder (FLD)を導入する。
• 空間アテンションとチャンネルアテンションを用いて融合重みを生成し、 mul-add演算で特徴を融合するUnified Attention Fusion Module (UAFM)を提案する。
• 中間/出力チャネルを削減してグローバルコンテキストを集約し、結合ではなく加算を用いるSimple Pyramid Pooling Module (SPPM)を設計する。
• SPPMを採用して低いオーバーヘッドで長距離依存関係をモデル化する。
• PP-LiteSegを、エンコーダ（STDCベース）、SPPM、およびFLDを用いて集約とデコードを行う構成で構築し、クロスエントロピーとOnline Hard Example Miningで学習する。

実験結果

リサーチクエスチョン

• RQ1 軽量デコーダ設計は、セグメンテーションの高精度を維持しつつエンコーダとデコーダの計算をバランスさせられるか。
• RQ2 統一されたアテンションベースの融合モジュールは、マルチレベルの融合において特徴表現を効率的に改善できるか。
• RQ3 低コストのグローバルコンテキストモジュール（SPPM）は、リアルタイム性能を損なうことなく精度を維持または向上できるか。
• RQ4 PP-LiteSegのCityscapesおよびCamVidにおける標準的なリアルタイムセグメンテーションのベンチマークに対する性能トレードオフは、従来の手法と比較してどうなるか。

主な発見

• PP-LiteSegはCityscapesで強力な精度と速度のトレードオフを実現し、PP-LiteSeg-T1のテストセットで273.6 FPS、72.0% mIoUを報告、PP-LiteSeg-B2のテストセットで102.6 FPS、77.5% mIoU。
• CityscapesにおいてPP-LiteSeg-B2は768×1536解像度で102.6 FPSで78.2% mIoUに達し、他のリアルタイム手法と比較して優れる。
• CamVidではPP-LiteSeg-Tが222.3 FPSを達成し、PP-LiteSeg-Bは154.8 FPSで75.0% mIoUを報告する。
• アブレーション研究により、FLDはベースラインより0.17%のmIoU向上を示し、FLDとSPPMおよびUAFMを組み合わせると段階的な利得を生み、PP-LiteSeg-B2では102.6 FPSで78.21 mIoUに至る。
• 提案されたモジュールは、CityscapesとCamVidの両方で、精度と速度の最先端バランスを実現する。