[論文レビュー] FDDWNet: A Lightweight Convolutional Neural Network for Real-time Sementic Segmentation

Jia Liu, Quan Zhou+4 more|arXiv (Cornell University)|Nov 2, 2019

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

FDDWNet は、因子分解された拡張付き深度分離畳み込み（FDDWC）とマルチブランチスキップ接続を用いた軽量で深いエンコーダ・デコーダ型CNNであり、最小限のパラメータで高い精度を達成するリアルタイム意味セグメンテーション用である。CityScapesで 0.8M パラメータで 60 FPS の推論速度と 71.5% の mIoU を達成し、従来の軽量モデルに比べてスピードと精度のトレードオフにおいて優れている。

ABSTRACT

This paper introduces a lightweight convolutional neural network, called FDDWNet, for real-time accurate semantic segmentation. In contrast to recent advances of lightweight networks that prefer to utilize shallow structure, FDDWNet makes an effort to design more deeper network architecture, while maintains faster inference speed and higher segmentation accuracy. Our network uses factorized dilated depth-wise separable convolutions (FDDWC) to learn feature representations from different scale receptive fields with fewer model parameters. Additionally, FDDWNet has multiple branches of skipped connections to gather context cues from intermediate convolution layers. The experiments show that FDDWNet only has 0.8M model size, while achieves 60 FPS running speed on a single RTX 2080Ti GPU with a 1024x512 input image. The comprehensive experiments demonstrate that our model achieves state-of-the-art results in terms of available speed and accuracy trade-off on CityScapes and CamVid datasets.

研究の動機と目的

• エッジデバイス上でリアルタイムアプリケーションにおけるモデル効率性とセグメンテーション精度のトレードオフを解消すること。
• 高速な推論速度を維持しながら特徴表現を向上させるより深い軽量ネットワークアーキテクチャを設計すること。
• セグメンテーションパフォーマンスを損なわず、モデルサイズと計算コストを低減すること。
• 少ないパラメータでマルチスケールの受容 field 学習が可能な因子分解された拡張付き深度分離畳み込み（FDDWC）の有効性を検証すること。
• 中間層からの複数のスキップ接続を統合し、コンテキスト集約性とモデルのロバスト性を向上させること。

提案手法

• パラメータを削減しつつ高い表現能力を維持するため、因子分解された拡張付き深度分離畳み込み（FDDWC）を用いた極めて効率的な残差モジュール（EERM）を提案する。
• 標準畳み込みを、拡張付きの2つの1次元因子分解深度分離畳み込みに分解し、その後に1×1ポイントワイド畳み込みを適用することでFDDWCを実装する。
• 中間層からのマルチブランチスキップ接続を導入し、コンテキスト特徴を集約し、勾配の流れを改善する。
• EERMにおけるアイデンティティマッピングを用いたエンド・トゥ・エンドで訓練可能なアーキテクチャを採用し、勾配消失／爆発を防止する。
• CityScapes および CamVid データセットでの安定した訓練を実現するため、モーメンタムと重み減衰を併用した「poly」学習率ポリシーを適用する。
• 小スケールバッチ（4）と効率的なレイヤー設計を用いて推論速度を最適化し、単一の RTX 2080Ti で 60 FPS を達成した。

実験結果

リサーチクエスチョン

• RQ1 より深い軽量ネットワークアーキテクチャは、モデルサイズや推論遅延を増加させずに、より高いセグメンテーション精度を達成できるか？
• RQ2 因子分解された拡張付き深度分離畳み込み（FDDWC）は、少ないパラメータでマルチスケール特徴を効果的に学習できるか？
• RQ3 中間層からのマルチブランチスキップ接続は、リアルタイムセグメンテーションにおけるコンテキスト集約性とパフォーマンスにどのような影響を及ぼすか？
• RQ4 標準ベンチマークにおいて、FDDWNet は最先端の軽量モデルと比べてスピードと精度のトレードオフで優れているか？
• RQ5 0.8M パラメータの軽量ネットワークは、データ拡張や後処理なしに、CityScapes および CamVid で最先端のパフォーマンスを達成できるか？

主な発見

• FDDWNet は CityScapes の検証セットで 71.5% の mIoU を達成し、大多数の既存の軽量モデルを上回っている。
• 1024×512 の入力で単一の RTX 2080Ti GPU 上で 60 FPS で動作し、リアルタイム推論の能力を示している。
• モデルはたった 0.8M パラメータしかなく、ICNet よりも 53 倍も小さく、ほぼ 2 倍速い。
• CityScapes では 19 カテゴのうち 13 カテゴで最高の mIoU を達成し、特に「Wall」で 6.1%、「Pedestrian」で 2.7% の顕著な向上を示した。
• CamVid では 66.9% の mIoU を達成し、79 FPS で動作し、ICNet よりも高速で、精度はわずか 0.2% の低下にとどまった。
• より深いアーキテクチャであるにもかかわらず、FDDWNet は DABNet と同等のモデルサイズを維持しながら、ほぼ 2 倍のネットワーク深さを達成しており、優れたパラメータ効率性を示している。