[論文レビュー] RSRD: A Road Surface Reconstruction Dataset and Benchmark for Safe and Comfortable Autonomous Driving

Tong Zhao, Chenfeng Xu+4 more|arXiv (Cornell University)|Oct 3, 2023

Advanced Vision and Imaging被引用数 7

ひとこと要約

本稿では、多様な走行状況下で収集された16,000組のステレオ画像ペア、高密度点群、および真値深度/視差マップを備えた、細粒度のレーン表面再構築のための、初めての大規模かつ高解像度の実世界データセットRSRDを紹介する。RSRDを基盤として、単眼深度推定およびステレオマッチングのベンチマークを確立し、低テクスチャのレーン表面の再構築における顕著な課題を示し、サブピクセル精度で最先端手法の妥当性を検証した。

ABSTRACT

This paper addresses the growing demands for safety and comfort in intelligent robot systems, particularly autonomous vehicles, where road conditions play a pivotal role in overall driving performance. For example, reconstructing road surfaces helps to enhance the analysis and prediction of vehicle responses for motion planning and control systems. We introduce the Road Surface Reconstruction Dataset (RSRD), a real-world, high-resolution, and high-precision dataset collected with a specialized platform in diverse driving conditions. It covers common road types containing approximately 16,000 pairs of stereo images, original point clouds, and ground-truth depth/disparity maps, with accurate post-processing pipelines to ensure its quality. Based on RSRD, we further build a comprehensive benchmark for recovering road profiles through depth estimation and stereo matching. Preliminary evaluations with various state-of-the-art methods reveal the effectiveness of our dataset and the challenge of the task, underscoring substantial opportunities of RSRD as a valuable resource for advancing techniques, e.g., multi-view stereo towards safe autonomous driving. The dataset and demo videos are available at https://thu-rsxd.com/rsrd/

研究の動機と目的

• 自動運転における細粒度のレーン表面再構築のための大規模かつ高精度なデータセットの不足に対処すること。
• 詳細なレーン断面推定によりタイヤ-レーン相互作用の正確な予測を可能にすることで、車両の安全性と快適性を向上させること。
• 既存のデータセットがしばしば低解像度、希釈ラベル、および十分なシナリオの多様性に欠けるという限界を克服すること。
• 実世界のレーン表面における深度推定およびステレオマッチング手法の評価のための包括的ベンチマークを提供すること。
• 高精度ラベルを備えた豊富でキャリブレーション済みのデータセットを提供することで、将来的なマルチビュー・ステレオ、点群処理、およびローカライゼーション分野の研究を支援すること。

提案手法

• RSRDデータセットは、キャリブレーション済みステレオカメラとLiDARを搭載した専用の移動プラットフォームを用いて収集され、多様なレーンタイプにおける実世界の走行状況をカバーしている。
• 高精度の後処理パイプラインを適用して、LiDAR点群から高密度かつ正確な真値深度および視差マップを生成した。
• データセットには16,000組のステレオ画像ペア、統合された点群、および点群の投影可視化が含まれており、異なる学習パラダイムに対応するため、高密度および希釈サブセットに分割されている。
• 標準的な指標（δ<1.25、Abs Rel、RMSE、EPE）を用いて、最先端の単眼深度推定およびステレオマッチングモデルをRSRDデータセット上で評価することでベンチマークを確立した。
• 希釈サブセットでの事前学習が高密度サブセットでの性能向上に寄与し、弱教師あり学習におけるスケールと多様性の価値を示した。
• 深度マップから表面法線マップを計算し、微細なレーンの不整地帯を可視化した（深度の変動は小さく、視覚的に明確でないため）。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端の深度推定モデルは、ステレオ画像から細粒度のレーン表面断面をどれほど効果的に再構築できるか？
• RQ2 レーン表面の低テクスチャ性がステレオマッチングおよび単眼深度推定アルゴリズムに及ぼす影響はどの程度か？
• RQ3 大規模で希釈されたサブセットでの事前学習は、高密度・高精度なサブセットにおけるレーン表面再構築の性能向上に寄与するか？
• RQ4 テクスチャ解像度および視点効果の変化を考慮すると、近距離と遠距離でのモデル性能にどのような差が生じるか？
• RQ5 NeRF やマルチビュー・ステレオ（MVS）といった高度な技術が、レーン表面再構築の精度向上にどの程度の可能性を秘めているか？

主な発見

• RSRDデータセットには、16,000組のキャリブレーション済みステレオ画像ペアと高精度の真値深度および視差マップが含まれており、多様な実世界のレーン状況をカバーしている。
• LapDepthを用いた単眼深度推定は、高密度サブセットでδ<1.25のスコアが0.998に達し、近距離での性能が遠距離よりも顕著に優れていた。
• RSRD-希釈サブセットでの事前学習により深度推定性能が向上し、δ<1.25が0.999、RMSEが0.184に達し、高密度サブセットでの学習のみに比べて優れた性能を示した。
• ステレオマッチング手法はサブピクセル精度に達しており、最良のモデル（CFNet）はEPEが0.333ピクセル、誤差が3ピクセルを超えるピクセルの割合が6.3%未満に抑えられた。
• 0.333ピクセルの視差誤差は5メートルの距離で約4cmの深度誤差に相当し、車両制御用途に適した高い精度であることが示された。
• 遠距離での性能低下は、粗いテクスチャ解像度および視点効果に起因するとされ、幾何学的感度を持つモデルの開発が求められることが示された。