[論文レビュー] Feature Pyramid Encoding Network for Real-time Semantic Segmentation

Mengyu Liu, Hujun Yin|arXiv (Cornell University)|Sep 18, 2019

Advanced Neural Network Applications参考文献 28被引用数 19

ひとこと要約

本論文では、特徴マップのピラミッド符号化（FPE）ブロックと相互埋め込みアップサンプル（MEU）モジュールを用いた、軽量でリアルタイムなセマンティックセグメンテーションネットワーク、FPENetを提案する。FPEブロックはグループ化されたディレイテッドDepthwise空孔畳み込みを用いて、計算コストを抑えながら多スケールのコンテキストを効率的に捉える。MEUモジュールは、高レベルの意味的特徴と低レベルの空間的詳細を融合する。本手法は、TITAN V GPU上で0.4Mパラメータ、102 FPSの推論速度でCityscapesで68.0%のmIoUを達成し、既存のリアルタイムモデルより精度と速度の両面で優れている。

ABSTRACT

Although current deep learning methods have achieved impressive results for semantic segmentation, they incur high computational costs and have a huge number of parameters. For real-time applications, inference speed and memory usage are two important factors. To address the challenge, we propose a lightweight feature pyramid encoding network (FPENet) to make a good trade-off between accuracy and speed. Specifically, we use a feature pyramid encoding block to encode multi-scale contextual features with depthwise dilated convolutions in all stages of the encoder. A mutual embedding upsample module is introduced in the decoder to aggregate the high-level semantic features and low-level spatial details efficiently. The proposed network outperforms existing real-time methods with fewer parameters and improved inference speed on the Cityscapes and CamVid benchmark datasets. Specifically, FPENet achieves 68.0\% mean IoU on the Cityscapes test set with only 0.4M parameters and 102 FPS speed on an NVIDIA TITAN V GPU.

研究の動機と目的

• 最先端のセマンティックセグメンテーションモデルの高い計算コストと大きなパラメータ数が、リアルタイムデプロイメントを妨げている問題に対処すること。
• 軽量なデコーダーで失われる微細な空間的詳細を保持することで、リアルタイムセグメンテーションの精度を向上させること。
• 効率的な多スケール特徴符号化と特徴融合を通じて、モデルの複雑さを低減しつつ、性能を維持または向上させること。
• ベンチマークデータセット上で、推論速度、モデルサイズ、セグメンテーション精度の間のより良いトレードオフを達成すること。

提案手法

• FPEブロックは、異なる率を持つグループ化されたDepthwise空孔畳み込みを用いて、計算コストを抑えたまま多スケールのコンテキスト特徴を捉える空間ピラミッドを形成する。
• 各FPEブロックはエンコーダーの各段階に統合され、ネットワークのすべてのレベルで多スケール特徴学習が可能になる。
• MEUモジュールは、高レベル特徴からのグローバルコンテキストを用いて低レベル特徴をガイドすると同時に、局所的な空間的詳細を高レベル特徴に注入することで、相互特徴埋め込みを実現する。
• FPEブロックではDepthwise分離畳み込みが用いられ、パラメータ数の削減と推論速度の向上が図られる。
• ネットワークは、エンコーダーにFPEブロック、デコーダーにMEUモジュールを用いた、U-Netに類似したエンコーダー・デコーダー構造を採用する。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、CityscapesとCamVidで標準プロトコルに従って評価される。

実験結果

リサーチクエスチョン

• RQ1 軽量なネットワークが、リアルタイム推論速度を維持しながら高いセマンティックセグメンテーション精度を達成できるか？
• RQ2 グループ化されたDepthwise空孔畳み込みを用いることで、パラメータの増加を最小限に抑えながら多スケールコンテキストを符号化する効果は何か？
• RQ3 高レベル特徴と低レベル特徴の間で相互特徴埋め込みを実施することで、モデルの複雑さを増さずに境界精度を向上させられるか？
• RQ4 エンコーダーの各段階に多スケール特徴符号化を統合することで、後段のピラミッドモジュールと比較して性能が向上するか？

主な発見

• FPENetは、TITAN V GPU上で0.4Mパラメータ、102 FPSの推論速度で、Cityscapesのテストセットで68.0%のmIoUを達成し、既存のリアルタイムモデルを速度と精度の両面で上回っている。
• 1536×768の解像度において、FPENetはCityscapesで70.1%のmIoUを達成し、高解像度入力でも優れた性能を示している。
• CamVidデータセットでは、FPENetは0.4Mパラメータで65.4%のmIoU、89.6%のグローバル精度を達成し、BiSeNet1 や Bayesian SegNet でさえも上回っている。
• アブレーションスタディの結果、FPEブロックは受容 field の拡大と層間の情報伝達を向上させることで、顕著に精度を向上させていることが確認された。
• MEUモジュールは意味的特徴と空間的特徴を効果的に融合し、単純なアップサンプルや浅い特徴融合よりも鋭いセグメンテーション境界と高い性能を実現している。
• FPENetはBiSeNet1 や ICNet よりも14〜19倍も小さく、mIoUは競合モデルと同等を維持していることから、モデル圧縮の面で優れた効率性を示している。