[論文レビュー] DSNet for Real-Time Driving Scene Semantic Segmentation

Wenfu Wang, Zhijie Pan|arXiv (Cornell University)|Dec 6, 2018

Advanced Neural Network Applications参考文献 19被引用数 13

ひとこと要約

本稿では、シャッフルネットV2とENetのアーキテクチャ的知見を組み合わせ、走行意思決定に直結する重要なドライビングオブジェクトを優先するための新規ドライビングインポートランス重み付き損失を導入した、リアルタイムで効率的な深層ニューラルネットワークDSNetを提案する。シティスケープデータセットにおいて、DSNetは検証セットで71.8%の平均IoU、テストセットで69.3%の平均IoUを達成し、ENetよりも精度で18.9%、速度で1.1倍向上した。

ABSTRACT

We focus on the very challenging task of semantic segmentation for autonomous driving system. It must deliver decent semantic segmentation result for traffic critical objects real-time. In this paper, we propose a very efficient yet powerful deep neural network for driving scene semantic segmentation termed as Driving Segmentation Network (DSNet). DSNet achieves state-of-the-art balance between accuracy and inference speed through efficient units and architecture design inspired by ShuffleNet V2 and ENet. More importantly, DSNet highlights classes most critical with driving decision making through our novel Driving Importance-weighted Loss. We evaluate DSNet on Cityscapes dataset, our DSNet achieves 71.8% mean Intersection-over-Union (IoU) on validation set and 69.3% on test set. Class-wise IoU scores show that Driving Importance-weighted Loss could improve most driving critical classes by a large margin. Compared with ENet, DSNet is 18.9% more accurate and 1.1+ times faster which implies great potential for autonomous driving application.

研究の動機と目的

• 自律走行システムにおけるリアルタイムで高精度なセマンティックセグメンテーションを実現する課題に対処すること。
• ドライビング意思決定に直接影響を与える交通関連の重要なオブジェクトのセグメンテーション性能を向上させること。
• 実世界の自律走行車両への実装を想定した、モデルの効率性と精度のバランスを取ること。
• ドライビングセーフティに最も関連するクラスを優先する損失関数の開発

提案手法

• DSNetは、推論速度の高速化と計算コストの低減を実現するため、シャッフルネットV2とENetにインspiredされた効率的なネットワークアーキテクチャを採用する。
• 深度分離畳み込みとチャネルシャッフル操作を用いることで、特徴表現を維持しながらFLOPsを削減する。
• ドライビング意思決定に重要なクラス（車両、歩行者、レーンなど）に高い損失重みを割り当てる新規のドライビングインポートランス重み付き損失を導入する。
• 誤分類に対するペナルティを強くすることで、安全に直結するクラスの特徴学習を強化する。
• エッジデバイスでのリアルタイム推論を支援するため、モバイルフレンドリーなコンponentsをアーキテクチャに組み込む。
• 標準的なデータオーグメンテーションおよび最適化技術を用いて、シティスケープデータセット上で学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 軽量ニューラルネットワークは、リアルタイム走行シーンセマンティックセグメンテーションにおいて最先端の精度と速度を達成できるか？
• RQ2 ドライビング特化型の損失関数は、安全に直結するクラスのセグメンテーション性能をどのように向上させるか？
• RQ3 シャッフルネットV2とENetのアーキテクチャ的効率性をどの程度組み合わせて、推論速度と精度を最適化できるか？
• RQ4 ドライビングインポートランス重み付き損失は、重要なドライビングオブジェクトのIoUに測定可能な向上をもたらすか？
• RQ5 ENetなどの既存モデルと比較して、DSNetの精度と推論速度はどの程度優れているか？

主な発見

• DSNetは、シティスケープ検証セットで71.8%の平均交差率（IoU）を達成し、高いセグメンテーション精度を示した。
• シティスケープテストセットでは、DSNetが69.3%の平均IoUを達成し、強力な一般化性能を確認した。
• ドライビングインポートランス重み付き損失は、車両や歩行者といった重要なドライビングオブジェクトのクラスワイドIoUを顕著に向上させた。
• ENetと比較して、DSNetは平均IoUで18.9%高い精度を達成するとともに、推論速度で1.1倍以上高速であった。
• 高い効率性を維持しているため、自律走行システムにおけるリアルタイムデプロイメントに適している。
• クラスワイドIoU分析から、損失関数が安全に直結するクラスのセグメンテーションを効果的に向上させていることが確認された。