[論文レビュー] Computer Stereo Vision for Autonomous Driving

Rui Fan, Li Wang+2 more|arXiv (Cornell University)|Dec 6, 2020

Advanced Vision and Imaging参考文献 84被引用数 28

ひとこと要約

本論文は、自律走行車におけるコンピュータステレオビジョンの包括的なフレームワークを提示し、スピードと正確性のトレードオフを最適化するために、マルチスレッドCPUとGPUアーキテクチャを統合している。3次元シーン再構築、オブジェクト検出、セマンティックセグメンテーションのためのステレオビジョンパイプラインを詳細に説明し、並列計算を活用することで、組み込みシステム上でのリアルタイム性能を実現している。

ABSTRACT

As an important component of autonomous systems, autonomous car perception has had a big leap with recent advances in parallel computing architectures. With the use of tiny but full-feature embedded supercomputers, computer stereo vision has been prevalently applied in autonomous cars for depth perception. The two key aspects of computer stereo vision are speed and accuracy. They are both desirable but conflicting properties, as the algorithms with better disparity accuracy usually have higher computational complexity. Therefore, the main aim of developing a computer stereo vision algorithm for resource-limited hardware is to improve the trade-off between speed and accuracy. In this chapter, we introduce both the hardware and software aspects of computer stereo vision for autonomous car systems. Then, we discuss four autonomous car perception tasks, including 1) visual feature detection, description and matching, 2) 3D information acquisition, 3) object detection/recognition and 4) semantic image segmentation. The principles of computer stereo vision and parallel computing on multi-threading CPU and GPU architectures are then detailed.

研究の動機と目的

• リソース制限のある自律走行車におけるステレオビジョンのスピードと正確性のバランスをとるという重要な課題に取り組むこと。
• カメラ、LiDAR、GPS/IMUなどのハードウェアと、認識、計画、制御などのソフトウェアコンポーネントを統合し、包括的な自律走行車システムを構築すること。
• マルチスレッドCPUとGPU上で効率的な並列計算を活用して、リアルタイムでの3次元認識を実現すること。
• 異種コンピューティングプラットフォームにおけるステレオビジョンアルゴリズムとその実装の体系的概要を提供すること。

提案手法

• エピポーラ幾何とディスparity計算を用いて、ステレオカメラペアから深度情報を抽出する。
• CPUにおけるマルチスレッド処理を可能にするOpenMPを用い、認識パイプライン内の直列処理タスクを並列化する。
• CUDA Cを用いてGPUアーキテクチャを活用し、特に畳み込みニューラルネットワーク（CNN）の学習と推論において大規模な並列処理を実行する。
• ステレオマッチングおよび特徴抽出におけるGPUスループットを最大化するために、ストリーミングマルチプロセッサ（SMs）とワープ（32スレッドのグループ）を適用する。
• GPUカーネルにおけるデータアクセス最適化と遅延低減のため、オンチップメモリ（共有メモリ、レジスタ、定数メモリ、テクスチャメモリ）を活用する。
• LiDAR、レーダー、GPS、IMUからのセンサフュージョンを適用し、悪環境下でも耐障害性を高める。

実験結果

リサーチクエスチョン

• RQ1 組み込みシステム上でリアルタイム性能を維持しつつ、ステレオビジョンがどのように高い正確性を達成できるか？
• RQ2 マルチスレッドCPUとGPUは、ステレオビジョンパイプラインの高速化にどのように寄与するか？
• RQ3 カメラ、LiDAR、レーダーなどの異なるセンサモダリティは、自律走行車における頑健な3次元認識にどのように寄与するか？
• RQ4 ステレオビジョンにおけるスピードと正確性のトレードオフを最適化するための主なアーキテクチャ的・アルゴリズム的選択肢は何か？
• RQ5 異種コンピューティング（CPU + GPU）は、自律走行車の認識タスクにどのように効果的に活用できるか？

主な発見

• OpenMPによるCPUマルチスレッド処理とCUDAによるGPU並列処理の統合により、組み込みシステム上でのステレオビジョンアルゴリズムの効率的実行が可能になった。
• GPUベースの処理は、CNN学習やディスパリティ計算などの計算負荷の高いタスクを顕著に高速化し、リアルタイム認識に向けた高いスループットを達成した。
• ステレオビジョンは正確な3次元情報取得を可能にし、LiDARおよびレーダーからのセンサフュージョンによって性能が向上した。
• GPU上でのオンチップメモリ（共有メモリ、定数メモリ、テクスチャメモリ）の使用により、メモリ遅延が低減され、カーネル効率が向上した。
• このフレームワークは、ビジュアル特徴マッチング、3次元再構築、オブジェクト検出、セマンティックセグメンテーションの4つのコア認識タスクをサポートしている。
• ドライブ・バイ・ワイヤーシステムやセンサフュージョンを含むハードウェア・ソフトウェア共同設計により、信頼性の高い自律走行車の制御とナビゲーションが実現された。