[論文レビュー] Surround-view Fisheye Camera Perception for Automated Driving: Overview, Survey and Challenges

Varun Ravi Kumar, Ciarán Eising+2 more|arXiv (Cornell University)|May 26, 2022

Advanced Optical Sensing Technologies被引用数 5

ひとこと要約

本稿は、自動運転における周囲視界魚眼カメラ認識に関する包括的なチュートリアルおよびサーベイを提供しており、魚眼カメラの幾何学的特性、認識タスク、および課題をカバーしている。魚眼カメラの統一的モデリングを提唱し、マルチカメラおよび近距離／遠距離フィールドの統合を推奨し、歪み認識型認識および鳥眼視点変換における主要な未解決問題を特定している。

ABSTRACT

Surround-view fisheye cameras are commonly used for near-field sensing in automated driving. Four fisheye cameras on four sides of the vehicle are sufficient to cover 360° around the vehicle capturing the entire near-field region. Some primary use cases are automated parking, traffic jam assist, and urban driving. There are limited datasets and very little work on near-field perception tasks as the focus in automotive perception is on far-field perception. In contrast to far-field, surround-view perception poses additional challenges due to high precision object detection requirements of 10cm and partial visibility of objects. Due to the large radial distortion of fisheye cameras, standard algorithms cannot be extended easily to the surround-view use case. Thus, we are motivated to provide a self-contained reference for automotive fisheye camera perception for researchers and practitioners. Firstly, we provide a unified and taxonomic treatment of commonly used fisheye camera models. Secondly, we discuss various perception tasks and existing literature. Finally, we discuss the challenges and future direction.

研究の動機と目的

• 自動運転における周囲視界魚眼カメラ認識に関する包括的リソースの不足に応える。
• 等距離、ステレオグラフィック、等歪み投影を含む、魚眼カメラモデルの統一的分類を提供する。
• 魚眼データにおける物体検出、トラッキング、鳥眼視点変換などのタスクを対象とした既存の認識アルゴリズムをサーベイする。
• 高い径方向歪み、外観の変動、マルチカメラ設定における時間的不一致といった、重要な課題を特定する。
• 将来的な研究方向性として、統合的マルチカメラモデリングおよび統一的近距離・遠距離フィールド認識フレームワークを提案する。

提案手法

• 等距離、ステレオグラフィック、等歪み投影の主な魚眼カメラモデルを、その幾何的射影式に基づいて体系的に分類・比較する。
• 補正、学習可能な空間変換、またはエンド・トゥ・エンドの歪み認識型ネットワークを通じて、魚眼歪みを処理する認識パイプラインをレビューする。
• 非線形歪みのため、標準的なIPM（逆投影マッピング）が魚眼カメラに適用される際の限界を分析し、より柔軟な代替手段として学習可能な補正レイヤーを提案する。
• 4台の周囲視界魚眼カメラからのデータを統合的に処理するマルチカメラモデリング手法を提案し、複数カメラにわたる視界が重複する物体の検出を向上させ、再識別オーバーヘッドを低減する。
• 幾何的近似に依存せずに、魚眼から鳥眼視点への非線形変換を暗黙的に処理できるエンド・トゥ・エンド学習フレームワークの重要性を強調する。
• 近距離フィールド（魚眼）と遠距離フィールド（ピンホール）カメラを含むデータセットおよびベンチマークの開発の重要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 自動運転における一貫した認識を実現するため、魚眼カメラモデルを体系的に分類・統一する方法は何か？
• RQ2 高い径方向歪みおよび空間的に変動する外観を示す魚眼カメラに、標準的な認識アルゴリズム（例：物体検出、トラッキング）を適応させる際の主な課題は何か？
• RQ3 マルチカメラ周囲視界システムを統合的にモデリングすることで、検出精度を向上させ、カメラ間再識別複雑性を低減する方法は何か？
• RQ4 魚眼カメラに適用された既存の鳥眼視点変換手法（例：IPM）の限界は何か？学習可能でエンド・トゥ・エンドのアプローチでどのように克服できるか？
• RQ5 次世代自動運転システムにおける近距離フィールド（魚眼）と遠距離フィールド（ピンホール）カメラの間での認識統合を実現する上で、未解決の課題は何か？

主な発見

• 魚眼カメラは360°近距離フィールドカバレッジを提供するため自動運転で広く使用されているが、複雑な径方向歪みと標準化されたツールの欠如のため、研究分野では低く評価されている。
• ピンホールカメラを想定した標準的な認識アルゴリズムは、深刻な径方向歪みのため魚眼データでは失敗するため、特別なモデリングおよび補正技術が不可欠である。
• マルチカメラ統合モデリングにより、大型車両の検出が向上し、複数の魚眼カメラにわたる重複視界を活用することで再識別エラーが低減される。
• 非線形魚眼歪みを考慮した学習可能な空間変換レイヤーは、従来のピクセル単位のIPMよりも、鳥眼視点特徴変換において優れた性能を示す。
• 現在、近距離フィールド（魚眼）と遠距離フィールド（ピンホール）カメラを統合した公開データセットは存在せず、統一的認識研究の障壁となっている。
• 径方向歪みに起因する外観変動の大きさのため、魚眼カメラにおけるトラッキングおよび再識別における時間的整合性が著しく低下しており、歪み認識型特徴符号化の導入が不可欠である。