[論文レビュー] ShelfNet for Real-time Semantic Segmentation

Juntang Zhuang, Junlin Yang|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 30被引用数 8

ひとこと要約

ShelfNet は、複数のエンコーダ-デコーダー分岐ペアと各空間レベルでのスキップ接続を備えたシャッフル形状の構造を用いる、リアルタイムのセマンティックセグメンテーションのための新規で効率的なアーキテクチャである。残差ブロック内の共有重み戦略とチャネル数の低減により、PSPNet よりも 4 倍高速な推論を達成し、Cityscapes では BiSeNet よりも高い精度を示し、ResNet34 バックボーンを用いて 79.0% の mIoU を達成した。

ABSTRACT

In this paper, we present ShelfNet, a novel architecture for accurate fast semantic segmentation. Different from the single encoder-decoder structure, ShelfNet has multiple encoder-decoder branch pairs with skip connections at each spatial level, which looks like a shelf with multiple columns. The shelf-shaped structure can be viewed as an ensemble of multiple deep and shallow paths, thus improving accuracy. We significantly reduce computation burden by reducing channel number, at the same time achieving high accuracy with this unique structure. In addition, we propose a shared-weight strategy in the residual block which reduces parameter number without sacrificing performance. Compared with popular non real-time methods such as PSPNet, our ShelfNet achieves 4$ imes$ faster inference speed with similar accuracy on PASCAL VOC dataset. Compared with real-time segmentation models such as BiSeNet, our model achieves higher accuracy at comparable speed on the Cityscapes Dataset, enabling the application in speed-demanding tasks such as street-scene understanding for autonomous driving. Furthermore, our ShelfNet achieves 79.0\% mIoU on Cityscapes Dataset with ResNet34 backbone, outperforming PSPNet and BiSeNet with large backbones such as ResNet101. Through extensive experiments, we validated the superior performance of ShelfNet. We provide link to the implementation \url{this https URL}.

研究の動機と目的

• 自律走行などの速度が求められるアプリケーション向けに、高速性を維持した高精度なリアルタイムのセマンティックセグメンテーションモデルを開発すること。
• 従来のディープラーニングモデルにおける推論速度とセグメンテーション精度のトレードオフを解消すること。
• アーキテクチャのイノベーションを通じて、計算コストとパラメータ数を削減しつつ性能を損なわないようにすること。
• モデルの複雑さを最小限に抑えることで、リソース制限のあるデバイスへの効率的なデプロイを可能にすること。

提案手法

• ShelfNet は、各空間レベルで接続された複数の並列エンコーダ-デコーダー分岐ペアを持つシャッフル形状のアーキテクチャを採用している。
• すべての分岐でチャネル次元を低減することで、FLOPs とパラメータ数を顕著に削減している。
• 残差ブロック内で共有重み戦略を適用することで、モデルのパラメータ数を削減しつつ特徴表現を維持している。
• 複数スケールでのスキップ接続を実装することで、特徴の融合と勾配の流れを向上させている。
• 軽量バックボーン（例：ResNet34）と互換性を持つようにアーキテクチャが設計されている。
• PASCAL VOC や Cityscapes などの標準ベンチマークでエンドツーエンドに訓練されている。

実験結果

リサーチクエスチョン

• RQ1 マルチブランチのエンコーダ-デコーダー構造は、リアルタイム推論速度を維持したままセマンティックセグメンテーションの精度を向上させることができるか？
• RQ2 分岐全体でチャネル次元を低減すると、モデルの性能と効率にどのような影響を与えるか？
• RQ3 残差ブロック内での共有重み戦略が、精度を劣化させることなく、どの程度パラメータ数を削減できるか？
• RQ4 ShelfNet は、非リアルタイムおよびリアルタイムの最先端モデルと比較して、スピード-精度のトレードオフにおいてどのように差をつけるか？
• RQ5 ResNet34 のような軽量バックボーンと組み合わせることで、シャッフル形状のアーキテクチャは競争力のある性能を達成できるか？

主な発見

• PASCAL VOC データセットにおいて、ShelfNet は PSPNet よりも 4 倍高速な推論速度を達成しながら、同等の精度を維持した。
• Cityscapes データセットにおいて、ResNet34 バックボーンを用いた ShelfNet は 79.0% の mIoU を達成し、より大きなバックボーンを搭載した PSPNet や BiSeNet を上回った。
• BiSeNet と同等の推論速度を達成したが、Cityscapes でははるかに高い精度を示した。
• 残差ブロック内での共有重み戦略により、パラメータ数が削減されたが、性能の劣化は見られなかった。
• 多段階のスキップ接続とマルチブランチ構造が、特徴の学習と勾配の流れを向上させ、精度の向上に寄与した。
• アーキテクチャは高い効率性とスケーラビリティを示しており、自律走行などのリアルタイムアプリケーションに適していることが分かった。