[論文レビュー] WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces

Shanliang Yao, Runwei Guan+12 more|arXiv (Cornell University)|Jul 13, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、無人水上車両（USV）に4Dレーダーと単眼カメラを搭載して収集した、水上走行のための最初のマルチタスク4Dレーダー・カメラ統合データセットであるWaterScenesを紹介する。このデータセットは、物体検出、インスタンス／セマンティックセグメンテーション、フリースペース、ウォータラインセグメンテーションのためのピクセルレベルおよびポイントレベルの同時アノテーションを可能にし、特に悪天候および低照度条件下でも、レーダー・カメラ統合が認識精度と耐障害性を顕著に向上させることを示している。

ABSTRACT

Autonomous driving on water surfaces plays an essential role in executing hazardous and time-consuming missions, such as maritime surveillance, survivors rescue, environmental monitoring, hydrography mapping and waste cleaning. This work presents WaterScenes, the first multi-task 4D radar-camera fusion dataset for autonomous driving on water surfaces. Equipped with a 4D radar and a monocular camera, our Unmanned Surface Vehicle (USV) proffers all-weather solutions for discerning object-related information, including color, shape, texture, range, velocity, azimuth, and elevation. Focusing on typical static and dynamic objects on water surfaces, we label the camera images and radar point clouds at pixel-level and point-level, respectively. In addition to basic perception tasks, such as object detection, instance segmentation and semantic segmentation, we also provide annotations for free-space segmentation and waterline segmentation. Leveraging the multi-task and multi-modal data, we conduct benchmark experiments on the uni-modality of radar and camera, as well as the fused modalities. Experimental results demonstrate that 4D radar-camera fusion can considerably improve the accuracy and robustness of perception on water surfaces, especially in adverse lighting and weather conditions. WaterScenes dataset is public on https://waterscenes.github.io.

研究の動機と目的

• 水上走行のためのマルチモーダルかつマルチタスクデータセットの不足に応えること、特に無人水上車両（USV）を対象とする。
• 雨天や低照度、動的な水面状態（反射や波の影響）といった条件下でカメラのみの認識の限界を克服すること。
• 4Dレーダー（天候に強く、長距離で速度を測定可能）とカメラ（高解像度のテクスチャと色情報を提供）の相補的特長を活かした、レーダー・カメラ統合の包括的ベンチマークを提供すること。
• 物体検出、インスタンスセグメンテーションおよびセマンティックセグメンテーション、フリースペースセグメンテーション、ウォータラインセグメンテーションといった、水上表面におけるマルチタスク認識タスクの研究を可能にすること。
• 公開可能で高品質な、豊富なアノテーションを備えたデータセットを通じて、USV向けの耐障害的でリアルタイムな認識システムの開発を促進すること。

提案手法

• 4Dレーダーと単眼カメラを搭載したUSVを展開し、多様な水上状態下で同期されたマルチモーダルデータを収集する。
• 物体検出、インスタンスセグメンテーション、セマンティックセグメンテーション、フリースペースセグメンテーション、ウォータラインセグメンテーションの複数の認識タスク用にデータを収集・アノテーションする。
• カメラ画像に対してピクセルレベルのアノテーション、4Dレーダー点群に対してポイントレベルのアノテーションを実施し、詳細なマルチモーダルなアライメントを可能にする。
• 単一モーダル（カメラのみ、レーダーのみ）および統合モーダル（レーダー・カメラ）を用いたベンチマークモデルの設計と評価を実施し、Achelousなどの最先端の統合アーキテクチャを含む。
• 複数の認識タスクを同時に最適化するマルチタスク学習（MTL）フレームワークを活用し、特徴の共有を促進し、計算効率を向上させる。
• 4Dレーダーのデータ（距離、速度、方位角、仰角）とカメラ特徴を統合する高度な統合技術を適用し、厳しい条件下でも検出およびセグメンテーション性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 4Dレーダー・カメラ統合は、単一モーダル手法と比較して、水上走行における認識精度と耐障害性を顕著に向上させるか？
• RQ2 低照度、霧、雨などの悪天候条件下で、カメラ性能が低下する状況において、マルチモーダル統合はどの程度効果的か？
• RQ3 鏡面反射や波の動きによる境界の曖昧さのため、視覚的手がかりが不明瞭な状況下で、レーダーはフリースペースおよびウォータラインのセグメンテーションにどの程度寄与できるか？
• RQ4 複雑な水中環境下で、物体検出とセグメンテーションを同時に最適化するマルチタスク学習の目的関数は、統合されたレーダーとカメラデータからどの程度利益を得られるか？
• RQ5 現在の認識モデルでは、浮遊ゴミなどの小形または接触面積が小さい物体を水上で正確に検出・セグメンテーションする際の主な課題は何か？

主な発見

• カメラのみのベースライン（HybridNets）と比較して、レーダー・カメラ統合により物体検出のmAPが15.7%向上し、顕著な性能向上を示した。
• Achelousという統合モデルは、すべてのタスクでカメラのみおよびレーダーのみのベースラインを上回り、特に低照度および悪天候条件下で顕著な優位性を示した。
• 低照度条件下では、カメラのみのセグメンテーションは失敗するか、著しく不正確になるが、統合モデルは信頼性の高い性能を維持しており、レーダー支援の耐障害性が顕著に示された。
• このデータセットにより、反射や曖昧な境界のための挑戦が明確に現れるパノプティック認識が可能となり、マルチモーダル統合によってその課題が軽減された。
• モデル特化の最適化がなくても、カメラのみのモデルよりレーダー・カメラ統合が検出性能を向上させるため、統合アプローチ自体の本質的耐障害性が示された。
• このデータセットは、従来のカメラベースモデルが鏡面反射や波による歪みに対し苦労することを明らかにしたが、レーダー統合によりこれらが効果的に解消されることを示した。