[論文レビュー] A Survey on Deep Learning Methods for Semantic Image Segmentation in Real-Time

Georgios Takos|arXiv (Cornell University)|Sep 27, 2020

Advanced Neural Network Applications被引用数 13

ひとこと要約

本サーベイは、リアルタイムのセマンティック画像セグメンテーションのためのディーブラーニング手法について包括的な分析を提供しており、高い精度を維持しながら推論速度と計算効率を向上させる技術に焦点を当てている。最先端のアーキテクチャを評価し、効率性と精度のトレードオフを特定し、Cityscapesなどの標準データセット上でトップパフォーマンスを発揮するモデルをベンチマークしている。FastSCNN や FasterSeg といったモデルは、mIoU が 60 を超える中で 100 FPS を超える性能を達成している。

ABSTRACT

Semantic image segmentation is one of fastest growing areas in computer vision with a variety of applications. In many areas, such as robotics and autonomous vehicles, semantic image segmentation is crucial, since it provides the necessary context for actions to be taken based on a scene understanding at the pixel level. Moreover, the success of medical diagnosis and treatment relies on the extremely accurate understanding of the data under consideration and semantic image segmentation is one of the important tools in many cases. Recent developments in deep learning have provided a host of tools to tackle this problem efficiently and with increased accuracy. This work provides a comprehensive analysis of state-of-the-art deep learning architectures in image segmentation and, more importantly, an extensive list of techniques to achieve fast inference and computational efficiency. The origins of these techniques as well as their strengths and trade-offs are discussed with an in-depth analysis of their impact in the area. The best-performing architectures are summarized with a list of methods used to achieve these state-of-the-art results.

研究の動機と目的

• リアルタイム推論に焦点を当てたセマンティック画像セグメンテーションのためのディーブラーニングアーキテクチャの包括的概要を提供すること。
• セマンティックセグメンテーションモデルにおける計算効率の向上とメモリ使用量の削減を図る技術を同定・分析すること。
• 標準ベンチマークデータセット上で最先端モデルのパフォーマンスを評価し、精度（mIoU）と推論速度（FPS）のバランスに焦点を当てること。
• ニューラルアーキテクチャサーチ、ハブリング、効率的な畳み込み演算などの最近の進展を要約すること。
• 自動運転やロボット工学などの時間的に制限のある応用分野に適した効率的で高性能なモデルを求める研究者・実務家へのリファレンスとして提供すること。

提案手法

• 過去10年間に開発されたディーブラーニングベースのセマンティックセグメンテーションアーキテクチャの体系的レビューと分類。
• FLOPs やパラメータ数の削減を目的とした、深度分離畳み込み、拡張畳み込み、非対称畳み込みなどの効率最適化技術の分析。
• 特徴表現の向上を目的とした、2ブランチネットワーク、階層的アテンション、局所分布を伴うグローバルアグリゲーションなどのアーキテクチャ的イノベーションの評価。
• ニューラルアーキテクチャサーチ（NAS）とハブリング技術を活用し、高推論速度を達成する軽量モデルを自動設計すること。
• mIoU と FPS を含むメトリクスを用いて、Cityscapes などの標準データセット上でモデルをベンチマークすること。
• 推論コストを増加させずに性能を向上させるために、擬似ラベル付け、データオーグメンテーション、深さに依存する損失関数などの技術を組み込むこと。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングベースのセマンティックセグメンテーションモデルにおける計算コストとメモリ使用量を低減するための最も効果的な技術は何ですか？
• RQ2 深度分離畳み込みやアテンションメカニズムなどのアーキテクチャ的選択が、精度と推論速度のトレードオフにどのように影響するでしょうか？
• RQ3 Cityscapes などの標準ベンチマークで、リアルタイム性能（≥30 FPS）を達成しながら高い mIoU を維持するディーブラーニングアーキテクチャはどれですか？
• RQ4 最近の手法、たとえばニューラルアーキテクチャサーチやハブリングは、効率的なセマンティックセグメンテーションモデルの開発にどのように寄与していますか？
• RQ5 2020年現在における最先端のリアルタイムセマンティックセグメンテーションモデルの主な設計パターンとパフォーマンストレンドは何か？

主な発見

• FastSCNN は、Cityscapes で 485 FPS と 51.9 mIoU を達成し、2ブランチネットワークと深度分離畳み込みの有効性を示している。
• FasterSeg と Partial Order Pruning は 140 FPS を超え、mIoU が 71 を超える性能を発揮しており、ニューラルアーキテクチャサーチとハブリングが極めて効率的なモデルの構築に寄与していることが示された。
• Naive-Student や Object-Contextual Representations といったモデルは、Cityscapes で mIoU が 85 を超える性能を示しており、半教師あり学習とアテンションメカニズムが精度を顕著に向上させることを示している。
• 深さ情報の利用と深さに依存する損失関数の適用により、深さに有利な環境下での性能が向上し、Hard Pixel Mining は 83.4 mIoU を達成した。
• ESPNet や LiteSeg といった効率的なアーキテクチャは、100 FPS を超え、mIoU が 60 を超える性能を発揮しており、精度を大きく犠牲にすることなくリアルタイム性能が達成可能であることを証明している。
• トップパフォーマンスを発揮するリアルタイムモデル（例：FastSCNN、FasterSeg）は、常に深度分離畳み込みや初期ダウンサンプリングといった軽量コンponents を使用しており、その効率性における重要性が確認された。