[論文レビュー] On Efficient Real-Time Semantic Segmentation: A Survey

Christopher J. Holder, Muhammad Shafique|arXiv (Cornell University)|Jun 17, 2022

Advanced Neural Network Applications被引用数 21

ひとこと要約

この調査は、低メモリ組み込みハードウェアに適したコンパクトで効率的なリアルタイムセマンティックセグメンテーションモデルを分析し、一貫した評価設定の下で遅延と精度を比較します。

ABSTRACT

Semantic segmentation is the problem of assigning a class label to every pixel in an image, and is an important component of an autonomous vehicle vision stack for facilitating scene understanding and object detection. However, many of the top performing semantic segmentation models are extremely complex and cumbersome, and as such are not suited to deployment onboard autonomous vehicle platforms where computational resources are limited and low-latency operation is a vital requirement. In this survey, we take a thorough look at the works that aim to address this misalignment with more compact and efficient models capable of deployment on low-memory embedded systems while meeting the constraint of real-time inference. We discuss several of the most prominent works in the field, placing them within a taxonomy based on their major contributions, and finally we evaluate the inference speed of the discussed models under consistent hardware and software setups that represent a typical research environment with high-end GPU and a realistic deployed scenario using low-memory embedded GPU hardware. Our experimental results demonstrate that many works are capable of real-time performance on resource-constrained hardware, while illustrating the consistent trade-off between latency and accuracy.

研究の動機と目的

• 最新のセマンティックセグメンテーション性能と低メモリ組み込みシステムにおけるデプロイメント制約とのギャップを評価する。
• 効率的なリアルタイムセグメンテーション研究を、整合的な分類法の下で主要な貢献ごとに分類する。
• 議論されたモデルの推論速度を、実際のデプロイメントを反映する一貫したハードウェア/ソフトウェア環境で評価する。

提案手法

• 主要なリアルタイムセグメンテーション研究を、その核となる貢献と手法に基づいてレビューし、分類する。
• コンパクトモデル向けの効率性指向アプローチに基づく分類法を提供する。
• 高性能GPUと低メモリ組み込みGPUを用いた、固定かつ現実的なハードウェア/ソフトウェアスタックの下で推論速度を実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 リソース制約のあるハードウェア上でリアルタイムなセマンティックセグメンテーションを実現する主要なアーキテクチャ的・アルゴリズム的戦略は何か？
• RQ2 一貫した評価条件の下で、遅延と精度のトレードオフは調査対象のアプローチ間でどのように現れるか？
• RQ3 組み込みGPUでリアルタイム性能を達成する方法はどれで、それらの限界は何か？
• RQ4 既存のリアルタイムセグメンテーション手法をどのように分類してデプロイメントの選択を導くことができるか？
• RQ5 現実世界の自動運転デプロイメントシナリオを最もよく反映するベンチマークやセットアップは何か？

主な発見

• 多くの研究が、リソース制約のあるハードウェア上でリアルタイム性能を達成している。
• 調査対象の手法全体で、レイテンシと精度の間には一貫したトレードオフが存在する。