[論文レビュー] NeurAll: Towards a Unified Model for Visual Perception in Automated Driving

Ganesh Sistu, Isabelle Leang+5 more|arXiv (Cornell University)|Feb 10, 2019

Advanced Neural Network Applications参考文献 44被引用数 14

ひとこと要約

本稿では、オートドライブにおける視覚的認識タスク（物体検出、深度推定、運動推定など）を統合的に学習できる統合的でマルチタスクCNNアーキテクチャ「NeurAll」を提案する。早期の畳み込み特徴を共有することで、視覚的認識タスクを同時に学習する。マルチストリームおよび補助学習を活用することで、単一タスクネットワークに比べて精度と計算効率が向上し、モデルサイズはコンactに保たれる。

ABSTRACT

Convolutional Neural Networks (CNNs) are successfully used for the important automotive visual perception tasks including object recognition, motion and depth estimation, visual SLAM, etc. However, these tasks are typically independently explored and modeled. In this paper, we propose a joint multi-task network design for learning several tasks simultaneously. Our main motivation is the computational efficiency achieved by sharing the expensive initial convolutional layers between all tasks. Indeed, the main bottleneck in automated driving systems is the limited processing power available on deployment hardware. There is also some evidence for other benefits in improving accuracy for some tasks and easing development effort. It also offers scalability to add more tasks leveraging existing features and achieving better generalization. We survey various CNN based solutions for visual perception tasks in automated driving. Then we propose a unified CNN model for the important tasks and discuss several advanced optimization and architecture design techniques to improve the baseline model. The paper is partly review and partly positional with demonstration of several preliminary results promising for future research. We first demonstrate results of multi-stream learning and auxiliary learning which are important ingredients to scale to a large multi-task model. Finally, we implement a two-stream three-task network which performs better in many cases compared to their corresponding single-task models, while maintaining network size.

研究の動機と目的

• 複数の視覚的認識タスクを統合した1つの共有モデルに統合することで、自動運転システムにおける計算のボトル neck を解消すること。
• タスク間で高価な初期畳み込み層を共有することにより、精度とスケーラビリティを向上させること。
• 物体検出、深度推定、運動推定を共同で学習することで開発作業の負荷を軽減し、一般化性能を向上させること。
• 大規模なマルチタスクモデルへのスケーリングを図るための高度な最適化およびアーキテクチャ技術を検討すること。
• 3タスクの設定における実証的評価を通じて、統合フレームワークの実現可能性と利点を示すこと。

提案手法

• 物体検出、深度推定、運動推定の各タスク間で早期の畳み込み特徴を共有する2ストリーム・3タスクのCNNアーキテクチャを設計すること。
• 異なるタスクを専用のブランチで処理しつつも、早期の特徴表現を共有するマルチストリーム学習を実装すること。
• タスク間での特徴学習とモデル最適化を向上させるために補助学習ヘッドを導入すること。
• マルチタスク設定における訓練の安定性と収束性を向上させるために、高度な最適化手法を適用すること。
• 共有バックボーンを用いることで、性能を維持しつつモデルサイズと計算コストを削減すること。
• 精度と効率のトレードオフを評価するために、統合モデルを単一タスクベースラインと比較して評価すること。

実験結果

リサーチクエスチョン

• RQ1 統合されたCNNモデルは、自動運転における複数の視覚的認識タスクを同時に効果的に学習できるか？
• RQ2 タスク間で早期の畳み込み特徴を共有することで、計算効率とモデル性能が向上するか？
• RQ3 マルチストリームおよび補助学習技術は、マルチタスク設定における特徴表現と一般化性能をどのように向上させるか？
• RQ4 統合モデルは、精度と推論効率の両面で単一タスクモデルをどの程度上回るか？
• RQ5 追加の認識タスクを追加する場合、統合アーキテクチャは最小限の追加コストでスケーリング可能か？

主な発見

• 提案されたNeurAllモデルは、単一タスクモデルに比べて物体検出、深度推定、運動推定の各タスクでより優れた性能を達成した。
• マルチストリームおよび補助学習は、マルチタスク設定における特徴学習とモデル安定性を顕著に向上させた。
• 統合アーキテクチャは、コンactなネットワークサイズを維持しながら、各タスクの個別モデルを上回る性能を発揮した。
• 共有された早期畳み込み層により、計算オーバーヘッドが低減され、実装ハードウェアにおける主なボトル neck を解消した。
• 予備の結果から、追加タスクへの拡張においてスケーラビリティと一般化の利点が示された。
• 効率性と精度の向上のおかげで、実世界への導入に向けた可能性を示した。