[論文レビュー] FisheyeMultiNet: Real-time Multi-task Learning Architecture for Surround-view Automated Parking System

Pullarao Maddu, Wayne Doherty+8 more|arXiv (Cornell University)|Dec 23, 2019

Smart Parking Systems Research参考文献 22被引用数 8

ひとこと要約

FisheyeMultiNet は、4台のファイッシュアイカメラを用いた周囲視認知自動パーキングシステム向けのリアルタイムでマルチタスクなディーブラーニングアーキテクチャである。低消費電力の組み込みシステム上で15 fpsで、物体検出、セマンティックセグメンテーション、汚損検出を統合的に行い、単一タスク性能に近く、計算効率が著しく高い。また、研究用に5,000枚の画像を含む公開データセットをリリースした。

ABSTRACT

Automated Parking is a low speed manoeuvring scenario which is quite unstructured and complex, requiring full 360° near-field sensing around the vehicle. In this paper, we discuss the design and implementation of an automated parking system from the perspective of camera based deep learning algorithms. We provide a holistic overview of an industrial system covering the embedded system, use cases and the deep learning architecture. We demonstrate a real-time multi-task deep learning network called FisheyeMultiNet, which detects all the necessary objects for parking on a low-power embedded system. FisheyeMultiNet runs at 15 fps for 4 cameras and it has three tasks namely object detection, semantic segmentation and soiling detection. To encourage further research, we release a partial dataset of 5,000 images containing semantic segmentation and bounding box detection ground truth via WoodScape project \cite{yogamani2019woodscape}.

研究の動機と目的

• ファイッシュアイカメラを用いた、自動パーキング用のリアルタイムで組み込み可能なマルチタスクディープラーニングシステムの開発。
• 構造的でないパーキング環境における360°ニアフィールド認識のための低消費電力・リアルタイム推論の課題に対処すること。
• 統合視覚認識により、並行パーキング、垂直パーキング、曖昧な状況の各シナリオにおける耐障害性と正確性を向上させること。
• 自動パーキング分野の研究を進めるために、セマンティックセグメンテーションとバウンディングボックスアノテーションを備えた5,000枚のファイッシュアイ画像を含む公開データセットをリリースすること。
• マルチタスク学習が、メモリおよび計算効率に顕著な向上をもたらす一方で、単一タスク性能に近い結果を達成できることを実証すること。

提案手法

• ファイッシュアイカメラ入力を用いて、物体検出、セマンティックセグメンテーション、汚損検出を同時に実行する統合型ディープニューラルネットワークアーキテクチャを設計。
• 勾配の大きさに基づく動的タスク重み付け（GradNormを参考に）を採用した重み付きマルチタスク損失関数を採用し、タスク間の損失スケールの乖離を是正。
• チャネル削減、最小限のスキップ接続、水平線制限付きセグメンテーションデコーダーを用いて、メモリと計算負荷を低減することで、組み込みデプロイメントに最適化。
• 3か国・地域、複数の車両タイプ（セダンおよびSUV）から収集した10,000枚の内部データセットを6:1:3の割合で訓練に使用。
• Kerasを用い、メモリ制約を満たすために入力解像度を1280×384に設定しつつ、性能を維持。
• WoodScapeプロジェクトを通じて、セマンティックセグメンテーションと物体検出の正例アノテーションを備えたデータセットの5,000枚のサブセットをリリース。

実験結果

リサーチクエスチョン

• RQ1 1台のディープラーニングモデルが、低消費電力の組み込みハードウェア上で、リアルタイムに複数の認識タスク（物体検出、セマンティックセグメンテーション、汚損検出）を同時に効果的に行えるか。
• RQ2 マルチタスク学習は、単一タスクネットワークと比較して、自動パーキング認識の精度と効率にどのように影響を与えるか。
• RQ3 組み込みビジョンシステム向けのマルチタスクネットワークにおいて、メモリおよび計算負荷を低減するのに最も効果的なアーキテクチャ的および最適化戦略は何か。
• RQ4 共有バックボーンが、ファイッシュアイカメラを用いた360°パーキング認識において、性能と効率をどの程度向上できるか。
• RQ5 勾配の大きさに基づく動的損失重み付けは、異種の認識タスクに適用するマルチタスク学習において、収束性と性能をどのように改善するか。

主な発見

• FisheyeMultiNet は、自動車グレードの低消費電力システムオンチップを用いて、4台のファイッシュアイカメラで15 fpsの推論を達成した。
• マルチタスク学習（MTL）モデルは、セマンティックセグメンテーションで平均交差率（mIoU）0.7263を達成し、単一タスク学習（STL）の0.7350と比較してわずかな精度低下にとどまった。
• 物体検出において、MTLモデルは平均平均精度（mAP）0.4814を達成し、STLベースラインの0.4737よりもわずかに高い。
• 損失関数に w_seg = 100 を適用することで、すべてのデータセットでセグメンテーション性能が著しく向上し、損失正規化の重要性が示された。
• チャネル削減や水平線制限付きセグメンテーションなどのアーキテクチャ的最適化により、メモリおよび計算負荷が低減され、リアルタイムデプロイメントが可能となった。
• 著者らは、セマンティックセグメンテーションとバウンディングボックスアノテーションを備えた5,000枚の画像を含む公開データセットをリリースした。これは、自動パーキング分野における最初の公開データセットである。