[論文レビュー] Fast Scene Understanding for Autonomous Driving

Davy Neven, Bert De Brabandere+3 more|arXiv (Cornell University)|Aug 8, 2017

Advanced Neural Network Applications参考文献 19被引用数 49

ひとこと要約

本稿では、ENetに基づくリアルタイムでマルチタスクなニューラルネットワークを提案し、自律走行のためのセマンティックセグメンテーション、インスタンスセグメンテーション、モノクローラル深度推定を同時に実行する。エンコーダーを共有し、分岐型デコーダーを用いることで、Cityscapesで1024×512解像度において21 fpsを達成し、精度の損失を最小限に抑え、単一タスクモデルよりも高速かつメモリ効率に優れる一方で、すべてのタスクで競争力ある性能を維持する。

ABSTRACT

Most approaches for instance-aware semantic labeling traditionally focus on accuracy. Other aspects like runtime and memory footprint are arguably as important for real-time applications such as autonomous driving. Motivated by this observation and inspired by recent works that tackle multiple tasks with a single integrated architecture, in this paper we present a real-time efficient implementation based on ENet that solves three autonomous driving related tasks at once: semantic scene segmentation, instance segmentation and monocular depth estimation. Our approach builds upon a branched ENet architecture with a shared encoder but different decoder branches for each of the three tasks. The presented method can run at 21 fps at a resolution of 1024x512 on the Cityscapes dataset without sacrificing accuracy compared to running each task separately.

研究の動機と目的

• 自律走行システムにおけるリアルタイムで低メモリなシーン理解のニーズに対応する。
• VGG や FCN などの重いアーキテクチャに依存する既存のマルチタスクネットワークと比較して、推論時間とメモリ使用量を低減する。
• リアルタイムでセマンティックセグメンテーション、インスタンスセグメンテーション、モノクローラル深度推定を同時に予測可能にする。
• 構造的単純さにもかかわらず、共同学習が各タスクの性能向上に寄与するかどうかを調査する。
• 自律走行を想定した速度-精度トレードオフに焦点を当てた今後のマルチタスク手法のための高速で効率的なベースラインを提供する。

提案手法

• セマンティックセグメンテーション、インスタンスセグメンテーション、モノクローラル深度推定の3つの下流タスクに適応した共有エンコーダーとしてENetを採用する。
• 各ブランチが共有エンコーダーからの特徴を処理してタスク固有の出力を生成する分岐型デコーダー構造を構築する。
• 共有エンコーダーとしてENetのステージ1および2を採用し、その後にENetのステージ3と、各ブランチ内の元のENetデコーダーステージ4および5を配置する。
• タスク固有の損失関数を用いてエンドツーエンドで学習する：セマンティックセグメンテーションには交差エントロピー、インスタンスセグメンテーションにはマスクベース損失、深度推定にはL1損失を適用する。
• 各タスクに共通するエンコーダーを活用することで推論を最適化し、別々のモデルを学習するのと比較して、メモリ使用量を削減し、処理速度を向上させる。
• 深度評価時にインスタンスマスクを適用し、検出エラーの影響を避けるために、実際の車両領域に基づいた真値ベースの深度指標を計算する。

実験結果

リサーチクエスチョン

• RQ1 軽量でリアルタイムなニューラルネットワークアーキテクチャが、セマンティックセグメンテーション、インスタンスセグメンテーション、モノクローラル深度推定を高効率に同時に実行可能か？
• RQ2 共有エンコーダーを用いたマルチタスク学習は、個別に学習した場合と比較して、個々のタスクの性能向上をもたらすか？
• RQ3 ENetに基づくモデルが、精度を損なわず、高解像度の都市部走行シーンでリアルタイム推論（≥20 fps）を達成できるか、その範囲はどの程度か？
• RQ4 本手法の性能は、速度、メモリ使用量、および3つのタスクの精度の観点で、最先端手法と比較してどうか？
• RQ5 共同学習は、メモリフットプリントと推論時間を削減しつつ、精度を維持あるいは向上させることができるか？

主な発見

• 1つのGPUで1024×512解像度において21 fpsで実行可能で、別々のモデル（12 fps）と比較して2倍以上の速度向上を達成し、メモリ使用量も2.6 GBから1.2 GBに削減された。
• 共同学習によりセマンティックセグメンテーションのmIoUが58.3%から59.3%にわずかに向上し、マルチタスク学習による性能向上が示された。
• インスタンスセグメンテーションのAPは0.20%から0.21%に上昇し、微増ではあるが一貫した改善が確認された。
• 深度推定では、100m未満で7.5 m、50m未満で3.5 m、25m未満で1.5 mの平均絶対誤差（MAE）を達成し、25m範囲では先行研究を上回った。
• 軽量アーキテクチャを採用しているにもかかわらず、真値インスタンスマスク上で評価した際には競争力ある深度性能を示し、より複雑なモデルと同等の結果を得た。
• 本研究では、共同学習がタスク全体の性能向上をもたらし、計算コストを顕著に削減できることを示した。これは、リアルタイムな自律走行システムに適した手法である。