[論文レビュー] Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes

Genshun Dong, Yan Yan+2 more|arXiv (Cornell University)|Mar 11, 2020

Advanced Neural Network Applications参考文献 66被引用数 12

ひとこと要約

本稿では、アトラスコンvolutionとアテンションを備えた軽量ネットワーク（LBN-AA）、特徴量の多スケール抽出を可能にする特徴量プーリング（DASPP）、空間的詳細を保持するネットワーク（SPN）、特徴量統合ネットワーク（FFN）を用いた、都市街路のシーン向けのリアルタイムで高性能なセマンティックセグメンテーション手法を提案する。単一のNVIDIA TITAN Xを用いて、Cityscapesでは51.0 fpsで73.6%のmIoU、CamVidでは39.3 fpsで68.0%のmIoUを達成し、高い精度と速度のトレードオフを実現した。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have recently shown outstanding performance in semantic image segmentation. However, state-of-the-art DCNN-based semantic segmentation methods usually suffer from high computational complexity due to the use of complex network architectures. This greatly limits their applications in the real-world scenarios that require real-time processing. In this paper, we propose a real-time high-performance DCNN-based method for robust semantic segmentation of urban street scenes, which achieves a good trade-off between accuracy and speed. Specifically, a Lightweight Baseline Network with Atrous convolution and Attention (LBN-AA) is firstly used as our baseline network to efficiently obtain dense feature maps. Then, the Distinctive Atrous Spatial Pyramid Pooling (DASPP), which exploits the different sizes of pooling operations to encode the rich and distinctive semantic information, is developed to detect objects at multiple scales. Meanwhile, a Spatial detail-Preserving Network (SPN) with shallow convolutional layers is designed to generate high-resolution feature maps preserving the detailed spatial information. Finally, a simple but practical Feature Fusion Network (FFN) is used to effectively combine both shallow and deep features from the semantic branch (DASPP) and the spatial branch (SPN), respectively. Extensive experimental results show that the proposed method respectively achieves the accuracy of 73.6% and 68.0% mean Intersection over Union (mIoU) with the inference speed of 51.0 fps and 39.3 fps on the challenging Cityscapes and CamVid test datasets (by only using a single NVIDIA TITAN X card). This demonstrates that the proposed method offers excellent performance at the real-time speed for semantic segmentation of urban street scenes.

研究の動機と目的

• 都市街路のシーンにおいて、高いセマンティックセグメンテーションの精度を維持しつつ、リアルタイムでの推論速度を達成する課題に対処すること。
• 軽量で効率的なネットワークアーキテクチャを設計することで、計算複雑性を低減しつつセグメンテーション性能を損なわないこと。
• 複雑な都市環境における多スケールオブジェクト検出を効果的に行い、微細な空間的詳細を保持すること。
• 高レベルの意味的理解と低レベルの空間的精度の両立を図る、堅牢でエンドツーエンドのフレームワークを開発すること。

提案手法

• LBN-AAネットワークは、アトラスコンボリューションと畳み込みアテンションモジュールを備えた軽量バックボーンを用い、密度の高い特徴マップを効率的に抽出する。
• DASPPモジュールは、複数のアトラスプーリングレートを適用することで、スケールにわたる多様な文脈的・意味的情報を符号化する。
• SPNは浅い畳み込み層を用いて、深層ネットワークで失われる高分解能の空間的詳細を保持する。
• FFNは、DASPPからの高レベル意味的特徴量とSPNからの高分解像空間的特徴量を連結および精錬することで統合する。
• 全モデルはエンドツーエンドで共同最適化され、特徴量の整合性とセグメンテーション精度を保証する。
• アトラスコンボリューションを用いることで、空間解像度を維持しつつ感受野を拡大する。

実験結果

リサーチクエスチョン

• RQ1 軽量でリアルタイムのセマンティックセグメンテーションモデルは、複雑な都市街路シーンにおいて高い精度を達成できるか？
• RQ2 計算コストを増加させることなく、多スケールの文脈的情報を効果的に捉える方法は何か？
• RQ3 深層セマンティックセグメンテーションネットワークにおいて、空間的詳細の保持をどの程度向上できるか？
• RQ4 リアルタイムセグメンテーションにおいて、高レベル意味的特徴量と低レベル空間的特徴量を最適に統合する戦略は何か？

主な発見

• 提案手法は、単一のNVIDIA TITAN Xを用いて、Cityscapesのテストセットで51.0 fpsで73.6%のmIoUを達成し、リアルタイム性能を実証した。
• CamVidデータセットでは、39.3 fpsで68.0%のmIoUを達成し、複数の最先端の高速セグメンテーションモデルを精度面で上回った。
• 標識や電柱などの小規模オブジェクトのセグメンテーションにおいて優れた性能を示し、CamVidにおける「標識」クラスでは51.6%のmIoUを達成した。
• 速度がやや遅いものの、BiSeNet2（CamVidで68.7%のmIoU）を上回る精度を達成しており、強力な性能トレードオフを示した。
• 木のセグメンテーションは、外観の変動性と背景との類似性のため困難であり、『木』クラスではたった70.5%のmIoUにとどまった。
• 定性的な結果から、本手法はオクルージョンや照明変化に対しても効果的に対処しているが、時折オブジェクト内部を過剰にまたは不十分にセグメンテーションすることがある。