[論文レビュー] RELLIS-3D Dataset: Data, Benchmarks and Analysis

Peng Jiang, Philip R. Osteen+2 more|arXiv (Cornell University)|Nov 17, 2020

Advanced Neural Network Applications参考文献 35被引用数 17

ひとこと要約

本稿では、13,556件のLiDARスキャンと6,235件のRGB画像アノテーションを含む大規模なマルチモーダルデータセットであるRELLIS-3Dを紹介する。このデータセットは、オフロード環境を対象としており、3次元セマンティックセグメンテーションモデルのベンチマーク評価を可能にする。最先端のモデルは、都市部のベンチマークと比較してRELLIS-3Dでは顕著な性能低下を示しており、オフロード環境におけるクラス不均衡と非構造的地形の課題が浮き彫りになっている。

ABSTRACT

Semantic scene understanding is crucial for robust and safe autonomous navigation, particularly so in off-road environments. Recent deep learning advances for 3D semantic segmentation rely heavily on large sets of training data, however existing autonomy datasets either represent urban environments or lack multimodal off-road data. We fill this gap with RELLIS-3D, a multimodal dataset collected in an off-road environment, which contains annotations for 13,556 LiDAR scans and 6,235 images. The data was collected on the Rellis Campus of Texas A\&M University and presents challenges to existing algorithms related to class imbalance and environmental topography. Additionally, we evaluate the current state-of-the-art deep learning semantic segmentation models on this dataset. Experimental results show that RELLIS-3D presents challenges for algorithms designed for segmentation in urban environments. This novel dataset provides the resources needed by researchers to continue to develop more advanced algorithms and investigate new research directions to enhance autonomous navigation in off-road environments. RELLIS-3D is available at https://github.com/unmannedlab/RELLIS-3D

研究の動機と目的

• オフロード自律走行研究のための大型でマルチモーダルなデータセットの不足に対処する。
• 強固なアルゴリズム開発を可能にするために、同期化された生のセンサデータ（LiDAR、RGB、ステレオ深度、GPS/INS）を提供する。
• トレーニング、検証、テストのスプリットを含むベンチマークを確立し、セマンティックセグメンテーションモデルの評価を可能にする。
• クラス不均衡と地形の複雑さが原因で、最先端のモデルがオフロードデータで性能を低下させる理由を調査する。
• 将来の研究を可能にするために、セマンティック理解、センサ融合、走行可能性などの高レベルのセマンティックラベルの研究を促進する。

提案手法

• テキサスA&M大学のRellisキャンパスで、RGBカメラ、LiDAR、ステレオ深度センサ、GPS/INS、IMUを搭載したWarthogロボットプラットフォームを用いて、同期化されたマルチモーダルデータを収集した。
• 5つの異なるシーケンスにわたり、6,235枚のRGB画像に対してピクセル単位のセマンティックアノテーションを、13,556件のLiDARポイントクラウドに対してポイント単位のセマンティックラベルを付与した。
• 再現可能なベンチマーク評価を可能にするために、標準化されたトレーニング、検証、テストスプリットを定義した。
• mIoUを主な指標として用い、SalsaNextとKPConvという最先端のモデルを、画像およびポイントクラウドのセマンティックセグメンテーションタスクに適用して評価した。
• 特にLiDARベースのセグメンテーションにおいて、クラス不均衡や地形の不規則性がもたらすモデル性能の低下を分析した。
• 複数スキャンの登録により、単一スキャンのLiDARでは検出できないが、マルチスキャン融合によって可視化される物体（例：木々の陰に隠れたフェンス）の存在を示し、マルチモーダル融合の重要性を実証した。

Figure 1: Warthog Platform Configuration. Illustration of the dimensions and mounting positions of the sensors with respect to the robot body. (Units: cm)

実験結果

リサーチクエスチョン

• RQ1 複雑な地形とクラス不均衡を伴う大規模でマルチモーダルなオフロードデータセットにおいて、現在の最先端の3次元セマンティックセグメンテーションモデルはどの程度の性能を示すか？
• RQ2 オフロード環境におけるクラス不均衡は、LiDARベースのセマンティックセグメンテーションにおけるディープラーニングモデルの性能にどの程度悪影響を及えるか？
• RQ3 画像ベースのモデルは、より豊富なテクスチャーや色の特徴を持つため、オフロードデータにおいてポイントクラウドベースのモデルを上回る性能を示す可能性があるか？
• RQ4 特にRGBとマルチスキャンLiDARを統合するマルチモーダル融合は、フェンスのような視覚的・幾何学的に微妙な重要なセマンティックオブジェクトの検出をどの程度向上させるか？
• RQ5 都市部のデータセットで訓練されたモデルを、非構造的で未整備なオフロード環境に移行させる際の主な課題は何か？

主な発見

• SalsaNextはRELLIS-3DのLiDARセグメンテーションで43.07%のmIoUを達成したが、これはSemanticKITTIでの59.5%のmIoUと比較して顕著な低下を示しており、オフロード環境における性能低下を示している。
• KPConvはRELLIS-3Dで19.07%のmIoUにとどまり、SemanticKITTIでの58.8%のmIoUと比べて著しく低い性能を示しており、クラス不均衡と非構造的地形による深刻な課題が浮き彫りになっている。
• 画像ベースのモデルは、より密度が高く視覚的に豊かな特徴を持つため、ポイントクラウドベースのモデルを上回る性能を示し、RGBセマンティックセグメンテーションがLiDARベースの手法よりも高い精度を達成した。
• 単一のLiDARスキャンでは、木々の陰に隠れたフェンスなどの物体を検出できないことが多く、マルチスキャン登録によりこれらが明確に可視化された。これにより、時間的統合の価値が示された。
• KPConvにおけるラベル分布に基づくサンプリングの導入はmIoUをわずか0.6%しか向上させず、オフロードデータにおける極端なクラス不均衡を是正するための既存のサンプリング戦略が不十分であることが示された。
• 本データセットは、現在のセマンティックラベルが走行可能性や傾斜方向といった高レベルのセマンティック概念を欠いていることを明らかにした。今後の研究では、オントロジー定義の拡張が求められる。

Figure 2: Ground truth annotations examples provided in the RELLIS-3D dataset. Images are densely annotated with pixel-wise labels from 20 different visual classes. LiDAR scans are point-wise labeled with the same ontogloy.