[論文レビュー] EdgeSegNet: A Compact Network for Semantic Segmentation

Zhong Qiu Lin, Brendan Chwyl+1 more|arXiv (Cornell University)|May 10, 2019

Advanced Neural Network Applications参考文献 28被引用数 4

ひとこと要約

EdgeSegNet は、原理的なネットワーク設計と機械駆動型アーキテクチャ探索を組み合わせた人間と機械の共同戦略を用いて設計された、セマンティックセグメンテーション向けのコンactなディープ畳み込みニューラルネットワークである。CamVid において 89.7% の精度を達成し、RefineNet の 0.6% 内の性能を発揮する一方で、16.7 MB と 20 倍以上も小さく、エッジデバイス（NVIDIA Jetson AGX Xavier）上で 38.5 FPS で実行可能であり、低消費電力・リアルタイムのエッジデプロイメントに極めて効率的である。

ABSTRACT

In this study, we introduce EdgeSegNet, a compact deep convolutional neural network for the task of semantic segmentation. A human-machine collaborative design strategy is leveraged to create EdgeSegNet, where principled network design prototyping is coupled with machine-driven design exploration to create networks with customized module-level macroarchitecture and microarchitecture designs tailored for the task. Experimental results showed that EdgeSegNet can achieve semantic segmentation accuracy comparable with much larger and computationally complex networks (>20x} smaller model size than RefineNet) as well as achieving an inference speed of ~38.5 FPS on an NVidia Jetson AGX Xavier. As such, the proposed EdgeSegNet is well-suited for low-power edge scenarios.

研究の動機と目的

• 低消費電力・オンデバイスのエッジ環境において、計算リソースとメモリ制約が厳しい状況に特化した、コンパクトなディープニューラルネットワークによるセマンティックセグメンテーションの開発。
• スマarthphone やドローン、車両などのリソース制限のあるエッジデバイスに、大規模で高精度なセマンティックセグメンテーションモデル（例：RefineNet）を効果的にデプロイする課題に対処すること。
• 人間主導のアーキテクチャ的原則と自動化された探索を組み合わせた、人間と機械の共同設計戦略を活用し、モジュールレベルのマクロおよびマイクロアーキテクチャを最適化すること。
• 既存の大規模モデルと比較して、モデルサイズと推論遅延を大幅に削減しながら、最先端のセグメンテーション精度を達成すること。
• 精度と計算効率の両面を最適化することで、エッジハードウェア上でリアルタイムかつ効率的なセマンティックセグメンテーションを実現すること。

提案手法

• 人間と機械の共同設計戦略を採用：まず、マルチパスのリファインや長距離スキップ接続といった、確立されたセグメンテーション原則に基づいた原理的なネットワーク設計プロトタイプを構築する。
• 機械駆動の設計探索を用いて、データセットと事前に定義された制約（例：CamVid での精度 ≥88%、モデルサイズ <20 MB）に基づき、最適なモジュールレベルのマクロアーキテクチャおよびマイクロアーキテクチャ構成を自動的に同定する。
• 異種のマクロアーキテクチャを統合：特徴表現と計算効率の両立を図るため、残差と非残差のボトルネックモジュールを併用する。
• 特定の高レベル特徴にのみリファインを行う選択的長距離ショートカット接続を実装し、性能を損なわせずにアーキテクチャの複雑さを低減する。
• 非残差ボトルネックモジュールにおいて、8×8 のストライド畳み込みを用いて積極的な空間的縮小を実施し、特徴マップの次元と計算負荷を著しく削減する。
• 精度とサイズの制約を強制する指標関数 $1_r(\cdot)$ を用いた制約付き探索プロセスにより、最終的なアーキテクチャを最適化し、コンパクトで高性能なモデルを生成する。

実験結果

リサーチクエスチョン

• RQ1 人間と機械の共同設計戦略は、大幅に小型化・高速化されたにもかかわらず、大規模で最先端のモデルと同等の精度を達成するコンパクトなセマンティックセグメンテーションネットワークを生成できるか？
• RQ2 選択的長距離ショートカット接続は、性能を損なわずアーキテクチャの複雑さをどれほど低減できるか？
• RQ3 大スルーレイド畳み込み（例：8×8）を用いた積極的な空間的縮小は、コンパクトなネットワークにおいてどれほど高いセグメンテーション精度を維持できるか？
• RQ4 残差と非残差ボトルネックモジュールのハイブリッドマクロアーキテクチャは、エッジ最適化セマンティックセグメンテーションにおける効率性と性能を向上させられるか？
• RQ5 エッジデプロイ可能なセマンティックセグメンテーションネットワークにおいて、モデルサイズ、推論速度、精度の間にはどのようなトレードオフがあり、これらは効果的に最適化可能か？

主な発見

• EdgeSegNet は CamVid データセットで 89.7% の平均オーバーラップ（mIoU）精度を達成し、はるかに大きな RefineNet（90.3%）と比較して 0.6 パercantageポイント以内の差にとどまる。
• EdgeSegNet のモデルサイズはわずか 16.7 MB であり、RefineNet（343 MB）と比較して 20 倍以上も小さく、メモリ制限のあるエッジデバイスに非常に適している。
• EdgeSegNet は NVIDIA Jetson AGX Xavier という低消費電力エッジプラットフォーム上で約 38.5 FPS の推論速度を達成し、リアルタイムのセマンティックセグメンテーションを可能にしている。
• RefineNet は Jetson AGX Xavier でメモリ不足のため実行できず、EdgeSegNet のコンパクトな設計が持つ重要な利点を浮き彫りにしている。
• 非残差モジュールにおける選択的長距離ショートカット接続と、8×8 ストライド畳み込みの活用により、計算複雑性が著しく低減されつつも高い性能が維持されている。
• 人間と機械の共同設計プロセスにより、精度・サイズ・速度のバランスが取れたモデルが成功裏に生成され、大規模モデルに比べて効率指標で優れており、精度の損失もほとんどない。