[論文レビュー] ESNet: An Efficient Symmetric Network for Real-time Semantic Segmentation

Yu Wang, Quan Zhou+1 more|arXiv (Cornell University)|Jun 24, 2019

Advanced Neural Network Applications参考文献 38被引用数 4

ひとこと要約

ESNetは、計算コストを低減しながら特徴表現を保持する新しい並列因数分解畳み込みユニット（PFCU）を用いた、軽量で対称的なエンコーダデコーダネットワークを提案する。1.6Mパラメータで単一のGTX 1080Tiで62 FPSを達成し、CityScapesデータセットにおいて最新の精度-効率トレードオフを確立した。従来の軽量モデルよりも速度とmIOUスコアの両面で優れている。

ABSTRACT

The recent years have witnessed great advances for semantic segmentation using deep convolutional neural networks (DCNNs). However, a large number of convolutional layers and feature channels lead to semantic segmentation as a computationally heavy task, which is disadvantage to the scenario with limited resources. In this paper, we design an efficient symmetric network, called (ESNet), to address this problem. The whole network has nearly symmetric architecture, which is mainly composed of a series of factorized convolution unit (FCU) and its parallel counterparts (PFCU). On one hand, the FCU adopts a widely-used 1D factorized convolution in residual layers. On the other hand, the parallel version employs a transform-split-transform-merge strategy in the designment of residual module, where the split branch adopts dilated convolutions with different rate to enlarge receptive field. Our model has nearly 1.6M parameters, and is able to be performed over 62 FPS on a single GTX 1080Ti GPU. The experiments demonstrate that our approach achieves state-of-the-art results in terms of speed and accuracy trade-off for real-time semantic segmentation on CityScapes dataset.

研究の動機と目的

• ドローン、ロボット、スマートフォンなどのリソース制約のあるデバイスに高精度なセマンティックセグメンテーションモデルを導入する課題に対処すること。
• 特にリアルタイム推論を想定して、計算複雑性とモデルサイズを低下させつつ、セグメンテーション精度を損なわないこと。
• 新しい残差ブロック設計により、高い特徴表現能力を維持する対称的で効率的なアーキテクチャを設計すること。
• 既存の軽量ネットワークと比較して、速度、精度、モデルのコンactnessのバランスを優れたものにすること。

提案手法

• 残差ブロックに基づくほぼ対称なエンコーダデコーダアーキテクチャを採用し、特徴階層のためのダウンサンプリングおよびアップサンプリングユニットを備える。
• コアとなる構成要素は、並列パスを介して2次元畳み込みを1次元因数分解畳み込みに分解する「変換-分割-変換-マージ」戦略を採用する並列因数分解畳み込みユニット（PFCU）である。
• PFCUは、アイデンティティショートカットと異なる畳み込み率を有するマルチパス1次元畳み込みを統合し、受容 field を拡大しながらFLOPsを削減する。
• 因数分解畳み込みユニット（FCU）は、適応的キーネルサイズを有する1次元因数分解畳み込みを用い、多スケール特徴を効率的に捉える。
• アーキテクチャはエンドツーエンドで学習可能であり、既存のResNetベースのセグメンテーションおよび分類ネットワークに直接適用可能である。
• この設計により、パラメータ数の顕著な削減と、精度の低下を最小限に抑えた高速推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 対称的で軽量なネットワークアーキテクチャは、エッジデバイス上でリアルタイム推論速度を維持しながらも、高いセグメンテーション精度を達成できるか？
• RQ2 PFCUにおける変換-分割-変換-マージ戦略は、標準的な2次元畳み込みと比較して、特徴表現の効率をどのように向上させるか？
• RQ3 因数分解および並列畳み込み設計を用いる場合、モデルサイズ、推論速度、セグメンテーションmIOUのトレードオフはどのように変化するか？
• RQ4 ENet、ESPNet、CGNetなどの最新の軽量ネットワークと比較して、ESNetは精度と速度の両面で優れているか？

主な発見

• 単一のGTX 1080Ti GPUで1.6Mパラメータで62 FPSの推論速度を達成し、SegNetと比較して速度とモデルサイズの両面で顕著に優れている。
• CityScapesの検証セットにおいて、データ拡張なしでクラスmIOU 69.1%、カテゴリmIOU 69.1%を達成し、ICNetと同等の性能を示したが、クラスmIOUは0.4%低いがカテゴリmIOUは高い。
• 2万件の追加の粗いアノテーションを用いることで、クラスmIOU 70.7%、カテゴリmIOU 87.4%を達成し、精度-効率トレードオフにおいて新たなSOTAを樹立した。
• SegNetと比較して、ほぼ4倍速く、18倍も小さい。ENetよりも5倍のパラメータが多いが、クラスmIOUで12.4%、カテゴリmIOUで7%高いスコアを達成した。
• 視覚的結果から、ESNetはオブジェクトのスケールにかかわらず一般化性能に優れており、特に交通標識や信号機のような小規模オブジェクトの検出が向上している。
• PFCU設計により、FLOPsを削減した効率的な推論が可能となり、対称的アーキテクチャはトレーニングと推論を簡素化しながらも、高いパフォーマンスを維持している。