[論文レビュー] 3D Visual Perception for Self-Driving Cars using a Multi-Camera System: Calibration, Mapping, Localization, and Obstacle Detection

Christian Häne, Lionel Heng+5 more|arXiv (Cornell University)|Aug 31, 2017

Robotics and Sensor-Based Localization参考文献 36被引用数 4

ひとこと要約

本論文は、4台の魚眼レンズカメラを用いた完全視覚的3次元認識パイプラインを提案し、最小限の重複で360°のカバーを実現する。歪みのない魚眼画像を直接処理することで、ピンホールモデルへの解像度変換を回避し、視野を保持しながら、1台のGPUで高精度かつリアルタイム性能を維持しつつ、正確なキャリブレーション、スパarsな3次元マッピング、密な3次元マッピング、リアルタイムの視覚的局所化、10cm未満の障害物検出を達成する。

ABSTRACT

Cameras are a crucial exteroceptive sensor for self-driving cars as they are low-cost and small, provide appearance information about the environment, and work in various weather conditions. They can be used for multiple purposes such as visual navigation and obstacle detection. We can use a surround multi-camera system to cover the full 360-degree field-of-view around the car. In this way, we avoid blind spots which can otherwise lead to accidents. To minimize the number of cameras needed for surround perception, we utilize fisheye cameras. Consequently, standard vision pipelines for 3D mapping, visual localization, obstacle detection, etc. need to be adapted to take full advantage of the availability of multiple cameras rather than treat each camera individually. In addition, processing of fisheye images has to be supported. In this paper, we describe the camera calibration and subsequent processing pipeline for multi-fisheye-camera systems developed as part of the V-Charge project. This project seeks to enable automated valet parking for self-driving cars. Our pipeline is able to precisely calibrate multi-camera systems, build sparse 3D maps for visual navigation, visually localize the car with respect to these maps, generate accurate dense maps, as well as detect obstacles based on real-time depth map extraction.

研究の動機と目的

• カメラのみを用いて低コストで高精度な3次元視覚的認識パイプラインを、自動駐車に適用する。
• 魚眼レンズを用いて最小限のカメラの重複で360°の環境認識を実現する。
• ピンホールモデルへの画像の解像度変換を回避し、全視野を保持するとともに、歪みに起因する情報損失を低減する。
• マルチカメラシステムを用いて、障害物検出、局所化、マッピングのリアルタイム性能を達成する。
• 低速自動走行タスクにおける完全に視覚的でマルチ魚眼カメラシステムの実現可能性を示す。

提案手法

• 本システムは、複数フレームにわたる2次元-3次元特徴対応関係を活用して、各魚眼カメラの相対的な外挿パラメータを車両のホイールオドメトリフレームに対して推定する構造ベースのキャリブレーション手法を採用する。
• 自己移動量推定は、全カメラを統合的に最適化するマルチカメラ定式化を用い、個々のカメラ処理よりも一貫性と精度が向上する。
• スパース3次元マップは特徴ベースSLAMを用いて構築され、密な3次元マップは複数の魚眼カメラからの深度マップを、新規の高さマップ統合技術を用いて統合することで生成される。
• キャリブレーションされたマルチカメラ構成を用いて、ピンホール投影モデルに起因する歪みを回避し、魚眼画像から直接深度マップを推定する。
• 障害物検出は、深度マップから確保された占有グリッドを用い、光線に沿って障害物を抽出し、時間的およびカメラ間での統合によりノイズ低減を実現する2次元で実施される。
• すべての処理はGPUアクセラレーションを用いて最適化され、1台のNVIDIA GTX 680で12.5Hzの性能を達成している。

実験結果

リサーチクエスチョン

• RQ1 最小限の重複を持つマルチ魚眼カメラシステムが、ピンホール投影への変換なしに360°の環境認識を実現できるか？
• RQ2 外部インfraストラクチャなしで、正確かつ効率的にマルチカメラキャリブレーションを実行できるか？
• RQ3 強い歪みを持つ複数の魚眼カメラからの深度マップを統合することで、信頼性の高い密な3次元マップを生成できるか？
• RQ4 魚眼カメラデータのみを用いて、高精度なリアルタイム障害物検出を実現できるか？
• RQ5 低速走行条件下で、4台のカメラからなる魚眼カメラシステムのみを用いて、視覚的局所化とマッピングをどれほど頑健に実行できるか？

主な発見

• 構造ベースのキャリブレーション手法は、特別なキャリブレーションターゲットやインfraストラクチャを必要とせず、複数フレームにわたる2次元-3次元特徴対応関係のみで高い精度と再現性を達成する。
• 全カメラ間の幾何的整合性を強制するマルチカメラ定式化を用いることで、正確な視覚的局所化とマッピングが可能になる。
• 密度の高い高さマップアプローチを用いた深度マップ統合により、最小限の重複を持つ複数の魚眼カメラからのデータを統合し、正確で一貫性のある3次元モデルが生成される。
• 障害物検出は1台のGPUで12.5Hzのリアルタイム性能を達成し、時間的および空間的統合によりノイズ低減が実現され、10cm未満の誤差を達成する。
• 魚眼画像をピンホールモデルに変換する処理を回避することで、全視野を保持し、より高い有効解像度と情報量を維持する。
• 本システムは実際の屋内駐車環境で実証され、低速走行タスクにおける自動駐車および充電の実現可能性が裏付けられた。