[論文レビュー] ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation

Sachin Mehta, Mohammad Rastegari+3 more|arXiv (Cornell University)|Mar 19, 2018

AI in cancer detection被引用数 4

ひとこと要約

ESPNetは、空間的畳み込みのための効率的なスパティアルピラミッドモジュール（ESP）を導入し、ポイントワイド畳み込みと拡張畳み込みを組み合わせることで、セマンティックセグメンテーションの高速化とモデルサイズ・計算コストの低減を実現した。このネットワークはGPU上で112 FPS、エッジデバイス（Jetson TX2）上で9 FPSを達成し、PSPNetと比較して22倍速く、180倍も小型でありながら、精度は8%程度低いにとどまる。これは、同様のリソース制約下でMobileNet、ShuffleNet、ENetを上回っている。

ABSTRACT

We introduce a fast and efficient convolutional neural network, ESPNet, for semantic segmentation of high resolution images under resource constraints. ESPNet is based on a new convolutional module, efficient spatial pyramid (ESP), which is efficient in terms of computation, memory, and power. ESPNet is 22 times faster (on a standard GPU) and 180 times smaller than the state-of-the-art semantic segmentation network PSPNet, while its category-wise accuracy is only 8% less. We evaluated ESPNet on a variety of semantic segmentation datasets including Cityscapes, PASCAL VOC, and a breast biopsy whole slide image dataset. Under the same constraints on memory and computation, ESPNet outperforms all the current efficient CNN networks such as MobileNet, ShuffleNet, and ENet on both standard metrics and our newly introduced performance metrics that measure efficiency on edge devices. Our network can process high resolution images at a rate of 112 and 9 frames per second on a standard GPU and edge device, respectively.

研究の動機と目的

• 限られたメモリ、計算能力、電力を持つリソース制約のあるエッジデバイスに、高精度なセマンティックセグメンテーションモデルを効果的にデプロイする課題に対処すること。
• 顕著な精度の低下を伴わずに、セマンティックセグメンテーションネットワークの計算およびメモリのオフセットを低減すること。
• 複数の受容 field スケールにわたる効率的な特徴学習を可能にする新しい畳み込みモジュールの開発。
• 標準的な精度やFLOPsを超えて、エッジデバイスにおけるCNNの効率を評価するための新しいシステムレベルのパフォーマンス指標の導入。
• Cityscapes、PASCAL VOC、およびスライド画像を含む多様なデータセットにおいて、提案モデルの汎用性および頑健性の検証。

提案手法

• 標準畳み込みをポイントワイド畳み込みに分解し、その後に拡張畳み込みの空間的ピラミッドを適用する、ESP（効率的スパティアルピラミッド）モジュールを提案。
• チャネル次元を低減するためにポイントワイド畳み込みを用い、拡張率を段階的に増加させた拡張畳み込みを用いて、複数スケールの有効受容 field を拡大。
• グリッドアーチファクトを軽減し、特徴表現を向上させるために、階層的特徴統合（HFF）を適用。
• ESPブロックの入力と出力の間にスキップ接続を導入し、情報の流れを促進し、学習の安定性を向上。
• ESPモジュールを用いた軽量エンコーダデコーダアーキテクチャとしてESPNetを設計。軽量デコーダを統合することで、モデルサイズを著しく増加させることなく、セグメンテーション精度を向上。
• GPU周波数への感受性やワープ実行効率といった新しいパフォーマンス指標を導入し、実際のエッジデバイスでのデプロイパフォーマンスを評価。

実験結果

リサーチクエスチョン

• RQ1 計算コストを最小限に抑えつつ、複数スケールの文脈的情報を効率的に捉えることができる要因分解畳み込みモジュールを設計できるか？
• RQ2 Inception や MobileNet などの既存の要因分解モジュールと比較して、エッジデバイス上での精度、速度、モデルサイズにおいてESPモジュールはどのように差をつけるか？
• RQ3 入力特徴マップの空間的次元をはるかに超える有効受容 field サイズが、精度に与える影響はどの程度か？
• RQ4 直接的なスキップ接続による入力強化は、モデルパrameterを増加させることなく、特徴表現およびセグメンテーション精度を向上させることができるか？
• RQ5 GPU周波数への感受性やワープ実行効率といったシステムレベルの指標は、エッジハードウェアにおけるリアルタイム推論パフォーマンスとどの程度相関するか？

主な発見

• ESPNetは高スペックGPU上で112 FPS、NVIDIA Jetson TX2エッジデバイス上で9 FPSを達成し、リアルタイム推論の実現を示した。
• ESPNetはPSPNetと比較して22倍速く、180倍も小型でありながら、カテゴリ別精度は最先端技術と8%以内の差に抑えられている。
• ESPモジュールは、ポイントワイド畳み込みと拡張畳み込みを逐次的に用いることで、計算コストを低減し、効率的なマルチスケール特徴学習を可能にしている。
• 拡張畳み込みの分岐数（K）をある閾値（K=5）を超えて増加させると、入力特徴マップの次元に対して有効受容 field が大きくなりすぎて、精度が低下する。
• 入力強化と軽量デコーダの追加により、それぞれ精度が2%および6%向上し、モデルサイズの増加は最小限（0.06 MBおよび20,000パラメータ）に抑えられた。
• ESPNetは、エッジデバイス上での標準指標およびシステムレベルの効率指標において、MobileNet、ShuffleNet、ENet、ERFNetを上回り、優れた汎用性と効率性を示した。