[論文レビュー] WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving

Yogamani Senthil, Hughes, Ciaran+15 more|arXiv (Cornell University)|May 4, 2019

Advanced Neural Network Applications被引用数 4

ひとこと要約

WoodScapeは、自動運転を対象とした、大規模かつマルチカメラ・マルチタスクの魚眼レンズデータセットであり、4台の360°魚眼カメラ、HD LiDAR、IMU、GNSSを備えています。10万枚を超える画像において、インスタンスレベルのセマンティックセグメンテーション、3D検出、深度推定、汚れ検出、その他のタスクを提供しており、ナマの補正を回避するためのネイティブな魚眼対応モデルと、95倍高速化された3D検出メトリクスを備えています。

ABSTRACT

Fisheye cameras are commonly employed for obtaining a large field of view in surveillance, augmented reality and in particular automotive applications. In spite of their prevalence, there are few public datasets for detailed evaluation of computer vision algorithms on fisheye images. We release the first extensive fisheye automotive dataset, WoodScape, named after Robert Wood who invented the fisheye camera in 1906. WoodScape comprises of four surround view cameras and nine tasks including segmentation, depth estimation, 3D bounding box detection and soiling detection. Semantic annotation of 40 classes at the instance level is provided for over 10,000 images and annotation for other tasks are provided for over 100,000 images. With WoodScape, we would like to encourage the community to adapt computer vision models for fisheye camera instead of using naive rectification.

研究の動機と目的

• 自動運転における魚眼画像ベースのコンピュータビジョン向けに、公開済みの大規模データセットの不足に対処すること。
• 補正や標準的なパースペクティブモデルに依存するのではなく、ネイティブな魚眼対応モデルの開発を可能にすること。
• 汚れ検出やモーショントラッキングなど、魚眼データに特化した新しいアノテーションタスクを導入すること。
• 4台の魚眼カメラ間で同期され、高精度なアノテーションがなされたデータを提供することで、マルチカメラ・マルチタスク学習を支援すること。
• 魚眼データを用いたエンドツーエンドのドライブポリシー研究や、合成データから実世界へのドメイン適応に関する研究を促進すること。

提案手法

• 360°のカバレッジを実現する4台の魚眼カメラを設置し、LiDAR、GNSS、IMUと同期させることで、正確な局所化と深度の真値を取得。
• 3D LiDARポイントを魚眼画像に正確に投影するため、統一魚眼カメラモデル（UCM/eUCM）を用い、隠蔽を補正。
• 10,000枚の画像で微調整されたEigenのモデルを用いた半教師あり深度推定を実装し、深度推定タスクでRMSE 7.7を達成。
• 従来のIoUベースの手法と比較して、学習時間を95倍短縮する、新しい3Dバウンディングボックス検出メトリクスを導入。
• エゴモーションの手がかりを用いて10,000枚の画像に対してモーションマスクを提供し、IoU評価可能な二値モーションセグメンテーションを実現。
• GNSS/IMUを用いてセンチメートルレベルの真値を提供する、魚眼対応LSD-SLAMベースラインを視覚的オドメトリとSLAMに開発。

実験結果

リサーチクエスチョン

• RQ1 補正を施さずに生の魚眼画像から深層学習モデルが有効に学習できるか。また、補正済み入力と比較して性能が向上するか。
• RQ2 3D検出や深度推定などのタスクにおいて、魚眼幾何の明示的モデリングとエンドツーエンド学習の間で、精度と効率の面でどのように差がつくか。
• RQ3 エゴモーションの手がかりをどの程度活用すれば、魚眼画像における頑健なオブジェクトセグメンテーションが可能になるか。
• RQ4 合成魚眼データは、実世界のシナリオへの一般化において、セマンティックセグメンテーションや深度推定に有効に機能するか。
• RQ5 複数の魚眼カメラビューを統合した統一マルチタスクモデルは、自動運転の認識においてどの程度効果的か。

主な発見

• WoodScapeは、40クラスのインスタンスレベルセマンティックセグメンテーションを1万枚を超える魚眼画像で提供し、データセットの95％以上が少なくとも1つの追加タスクでアノテーション済み。
• 提案された3D検出メトリクスにより、従来のIoUベースの学習と比較して、学習時間を95倍短縮でき、モデルの反復が高速化された。
• 半教師あり学習を用いた深度推定ベースラインは、深度推定タスクでRMSE 7.7を達成。
• MODNetを用いたモーションセグメンテーションベースラインは、移動物体検出で45％のIoUを達成し、魚眼データにおけるモーションベースセグメンテーションの可能性を示した。
• 魚眼対応LSD-SLAMを用いたビジュアルオドメトリベースラインは、10万フレームを超える50本の動画シーケンスで高い精度を達成し、GNSS/IMUの真値で検証された。
• 本データセットにより、初めての公開された汚れ検出ベンチマークが可能となり、悪天候下での頑健な認識に不可欠な新しいタスクが導入された。