[論文レビュー] LiDAR Sensor modeling and Data augmentation with GANs for Autonomous driving

Ahmad El Sallab, Ibrahim Sobh+2 more|arXiv (Cornell University)|May 17, 2019

Advanced Neural Network Applications参考文献 16被引用数 33

ひとこと要約

本論文は、CycleGANを用いた未対応の画像間翻訳としてLiDARセンサーモデリングを定式化し、CARLAのシミュレートLiDARをKITTIの実LiDARへマッピングするsim2realと、LiDAR表現のreal2real翻訳を行い、データ拡張と現実味の向上を可能にする。

ABSTRACT

In the autonomous driving domain, data collection and annotation from real vehicles are expensive and sometimes unsafe. Simulators are often used for data augmentation, which requires realistic sensor models that are hard to formulate and model in closed forms. Instead, sensors models can be learned from real data. The main challenge is the absence of paired data set, which makes traditional supervised learning techniques not suitable. In this work, we formulate the problem as image translation from unpaired data and employ CycleGANs to solve the sensor modeling problem for LiDAR, to produce realistic LiDAR from simulated LiDAR (sim2real). Further, we generate high-resolution, realistic LiDAR from lower resolution one (real2real). The LiDAR 3D point cloud is processed in Bird-eye View and Polar 2D representations. The experimental results show a high potential of the proposed approach.

研究の動機と目的

• 自動運転のデータを拡張するために現実的な LiDAR センサーモデルの必要性を動機づけ、危険な現実世界のデータ収集を回避する。
• 教師なし学習アプローチを提案し、シミュレーションデータと実データから未対応データを用いた LiDAR 感知のモデリングを行う。
• 2つの LiDAR 表現（Bird-eye View BEV と Polar Grid Map PGM）を調査し、ドメイン間の翻訳を行う。
• sim2real および real2real 翻訳を実証し、シミュレーションから現実的な LiDAR データを生成し解像度を向上させる。
• 生成 LiDAR データの評価戦略を検討し、将来の改良点を概説する。

提案手法

• LiDAR センサーモデリングを CycleGAN を用いた未対応の画像間翻訳問題として定式化する。
• CARLA のシミュレート LiDAR と KITTI の実 LiDAR の間を BEV および PGM 投影を用いて翻訳する。
• 両方向の GAN 損失を定義する（G: sim2real、F: real2sim）と循環整合性損失。
• 2D LiDAR 表現（BEV および 2D PGM）を適用して、3D情報を2Dフレームワークで保持する。
• 任意で CycleGAN をタスク特化損失および外在的損失で拡張し、物体レベルの内容を保持する。
• データセットを用いた訓練：CARLA を X、KITTI を Y とし、実験のために 2000 フレームのサブセットを検討する。

実験結果

リサーチクエスチョン

• RQ1 CycleGAN はペアリングされたサンプルなしで、シミュレート LiDAR と実 LiDAR の間で現実的な写像を学習できるか？
• RQ2 BEV と PGM の表現は sim2real 翻訳に十分な LiDAR 情報を保持するか？
• RQ3 教師なし画像間翻訳を用いて低解像度の入力から高解像度 LiDAR へ翻訳することは可能か？
• RQ4 Extrinsic 評価手法（例：物体検出指向の指標）は生成 LiDAR データの品質を定量化できるか？
• RQ5 下流の認識タスクのために LiDAR データを評価・拡張する実用的な戦略は何か？

主な発見

• CycleGAN ベースの翻訳は CARLA 入力から KITTI に似た BEV を生成し、KITTI の特徴を大まかに保つ。
• Real2real 翻訳は、よりまばらな LiDAR チャンネル構成から密度の高い構成へ移動するときに内容を転送できることを示している。
• PGM ベースの翻訳は、3D LiDAR 情報を密な 2D 表現に符号化して翻訳できることを示している。
• 本研究は再構成品質、注釈転送、外在的タスクベースの評価など、複数の評価手法を議論している。
• 著者らはデータ拡張と現実性の向上のためのフレームワークを提案し、タスク特化の損失項や外部評価者の将来の拡張の可能性を示唆している。