[論文レビュー] Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks

Benedikt Mersch, Xieyuanli Chen+2 more|arXiv (Cornell University)|Sep 28, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用数 13

ひとこと要約

本論文では、入力スキャンをレンジ画像に変換し、それを3次元テンソルとして処理することで、将来の3次元LiDAR点群を予測する自己教師あり3次元時空間畳み込みネットワークを提案する。本手法は、ラベルなしデータでの学習にのみ依存し、微調整なしで未学習の環境にも一般化しやすく、10 HzのLiDARフレームレートを上回る高速な推論を達成し、最先端の性能を発揮する。

ABSTRACT

Exploiting past 3D LiDAR scans to predict future point clouds is a promising method for autonomous mobile systems to realize foresighted state estimation, collision avoidance, and planning. In this paper, we address the problem of predicting future 3D LiDAR point clouds given a sequence of past LiDAR scans. Estimating the future scene on the sensor level does not require any preceding steps as in localization or tracking systems and can be trained self-supervised. We propose an end-to-end approach that exploits a 2D range image representation of each 3D LiDAR scan and concatenates a sequence of range images to obtain a 3D tensor. Based on such tensors, we develop an encoder-decoder architecture using 3D convolutions to jointly aggregate spatial and temporal information of the scene and to predict the future 3D point clouds. We evaluate our method on multiple datasets and the experimental results suggest that our method outperforms existing point cloud prediction architectures and generalizes well to new, unseen environments without additional fine-tuning. Our method operates online and is faster than the common LiDAR frame rate of 10 Hz.

研究の動機と目的

• ラベル付きデータや事前の検出・トラッキングパイプラインに依存せずに、自律走行システムが将来のLiDAR点群を予測できるようにすること。
• 時空間的依存関係を一括してモデル化するエンドツーエンドの自己教師あり手法を開発すること。
• 10 Hzより高速なオンラインリアルタイム推論を実現し、モバイルプラットフォームへのデプロイに適すること。
• 追加の微調整なしに、新しい未学習の環境に対しても効果的に一般化できること。
• 3次元畳み込みエンコーダ・デコーダアーキテクチャにおいて、スキップ接続と円形パディングを用いることで、予測精度と構造的詳細を向上させること。

提案手法

• 各3次元LiDARスキャンを2次元レンジ画像に変換し、これらの画像の系列を3次元テンソルに連結して時空間処理を実施する。
• 3次元畳み込みを用いて、3次元U-Netに類似したエンコーダ・デコーダアーキテクチャを採用し、系列全体における空間的・時系列的特徴を同時に符号化する。
• デコーダにおけるアップサンプリング段階で高分解能の空間的詳細を保持するために、スキップ接続を用いる。
• 360°の視野角における水平方向の一貫性を維持し、接合部付近のアーチファクトを低減するために、円形パディングを適用する。
• ネットワークは将来のレンジ画像と、各点が有効／無効であるかを示すマスクを同時に予測し、正確な点群生成を可能にする。
• 自己教師あり学習のために、画像ベースの損失（事前学習用）と3次元Chamfer距離（微調整用）を組み合わせたマルチタスク損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり3次元畳み込みネットワークは、手動でのアノテーションが一切不要な状態で、過去のLiDARシーケンスから詳細な将来の点群を予測できるか？
• RQ2 3次元畳み込みによる時空間的統合モデリングは、リカレント型や2ストリームアーキテクチャに比べ、点群予測において優れた性能を示すか？
• RQ3 本モデルは、センサの取り付け位置やシーンの特徴が異なる新しい環境に対しても、微調整なしに一般化できるか？
• RQ4 提案手法は、標準の10 Hz LiDARフレームレートを上回る高速なリアルタイム推論を実現できるか？
• RQ5 画像ベースの損失による事前学習 followed by Chamfer距離による微調整は、3次元損失のみで学習を開始する場合と比較して、収束性と最終的な性能を向上させるか？

主な発見

• 提案手法はKITTIオドメトリーデータセットにおいて平均Chamfer距離0.480 m²を達成し、最先端のベースラインを上回る性能を示した。
• 未学習の環境に対しても良好な一般化性能を示した：Apollo-SouthBayで1エポックの微調整後、Chamfer距離は0.934 m²から0.426 m²に低下した。
• 推論速度が10 Hzを上回るため、モバイルプラットフォームへのリアルタイムデプロイが可能である。
• アブレーションスタディの結果、スキップ接続と円形パディングが予測品質を顕著に向上させ、フルアーキテクチャで最良の性能が得られた。
• 画像ベースの損失による事前学習 followed by Chamfer距離による微調整は、3次元損失のみで学習を開始する場合と比較して、より良い結果が得られ、学習時間を短縮した。
• 異なるセンサの取り付け位置に対しても正しく再投影マスクを予測でき、幾何的変化に対して高いロバスト性を示した。