[論文レビュー] CFPNet: Channel-wise Feature Pyramid for Real-Time Semantic Segmentation

Ange Lou, Murray H. Loew|arXiv (Cornell University)|Mar 22, 2021

Advanced Neural Network Applications参考文献 33被引用数 5

ひとこと要約

CFPNetは、チャンネルごとに独立して膨張畳み込みを適用することで、マルチスケールのコンテキストを効率的に捉えるチャンネルワイズ・フィーチャーピラミッド（CFP）モジュールを導入し、リアルタイムのセマンティックセグメンテーションを向上させた。Cityscapesでは、0.55Mパラメータと2.5MBのメモリを用い、1024×2048の入力画像に対して単一のRTX 2080Tiで30FPSで動作し、クラスワイズmIoUが70.1%に達した。

ABSTRACT

Real-time semantic segmentation is playing a more important role in computer vision, due to the growing demand for mobile devices and autonomous driving. Therefore, it is very important to achieve a good trade-off among performance, model size and inference speed. In this paper, we propose a Channel-wise Feature Pyramid (CFP) module to balance those factors. Based on the CFP module, we built CFPNet for real-time semantic segmentation which applied a series of dilated convolution channels to extract effective features. Experiments on Cityscapes and CamVid datasets show that the proposed CFPNet achieves an effective combination of those factors. For the Cityscapes test dataset, CFPNet achieves 70.1% class-wise mIoU with only 0.55 million parameters and 2.5 MB memory. The inference speed can reach 30 FPS on a single RTX 2080Ti GPU with a 1024x2048-pixel image.

研究の動機と目的

• モバイルおよび自律走行システム向けに、リアルタイムのセマンティックセグメンテーションで高い性能を達成することに挑戦する。
• モデルの精度、パラメータ数、推論速度のトレードオフをバランスさせる。
• 計算コストを増加させることなく、空間的およびチャンネルワイズのコンテキストを維持する効率的な特徴抽出機構を開発する。
• モデルサイズとメモリフットプリントを最小限に抑えることで、リソース制約のあるデバイスへのデプロイを可能にする。

提案手法

• チャンネルごとに独立して膨張畳み込みを適用するチャンネルワイズ・フィーチャーピラミッド（CFP）モジュールを提案し、マルチスケール特徴を抽出する。
• 段階的な膨張率を有する複数の膨張畳み込みを用いて、長距離コンテキストを捉えつつ、空間解像度を保持する。
• チャンネルワイズ特徴学習と空間アグリゲーションを分離することで、パラメータ効率的な設計を実現する。
• 軽量なエンコーダ・デコーダアーキテクチャにCFPモジュールを統合し、セマンティックセグメンテーションを実現する。
• パラメータ数とメモリ使用量を最小限に抑えることで、推論速度を最適化する。
• CityscapesおよびCamVidで、標準的なクロスエントロピー損失とmIoU損失を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 チャンネルワイズのフィーチャーピラミッドモジュールは、最小限のパラメータオーバーヘッドでマルチスケールコンテキストを効果的に捉えることができるか？
• RQ2 CFPモジュールは、高解像度入力において、リアルタイム推論速度を維持したままmIoUをどの程度向上できるか？
• RQ3 既存のリアルタイムセグメンテーションモデルと比較して、本アーキテクチャは精度、モデルサイズ、速度の面でどのように差をつけるか？
• RQ4 CFPNetは、顕著に少ないパラメータ数で、ベンチマークデータセットで最先端の性能を達成できるか？
• RQ5 チャンネルワイズに膨張畳み込みを適用することで、空間的詳細が保持され、特徴表現が向上するか？

主な発見

• CFPNetはCityscapesのテストセットで70.1%のクラスワイズmIoUを達成し、優れたセグメンテーション精度を示した。
• モデルはたった0.55Mのパラメータと2.5MBのメモリしか使用せず、リアルタイムデプロイに非常にコンパクトである。
• 1024×2048の入力画像に対して単一のRTX 2080Ti GPUで30FPSの推論速度に達し、リアルタイム要件を満たした。
• CFPモジュールは、計算コストを最小限に抑えつつ、効果的なマルチスケール特徴学習を可能にし、従来のピラミッドモジュールよりも効率的である。
• CamVidでも競争力ある性能を達成し、データセット間での一般化性を確認した。
• アブレーションスタディにより、チャンネルワイズ設計がパラメータ数を削減しながらもmIoU性能を維持していることが確認された。