[論文レビュー] Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation

Ahmad El Sallab, Ibrahim Sobh+2 more|arXiv (Cornell University)|Nov 24, 2019

Advanced Neural Network Applications参考文献 14被引用数 5

ひとこと要約

本稿では、ペairedデータが不要な非教師付きニューラルセンサモデル—CycleGANとNeural Style Transfer—を提案し、シミュレートされたCARLA LiDARD点群を実際のKITTIに類似した分布に変換することで、現実的なLiDARデータ拡張を実現する。YOLOに基づくオriented検出フレームワークにおけるBird's Eye View LiDAR投影において、これらのモデルをデータ拡張に用いることで、生のシミュレートデータに比べて物体検出mAPが最大6%向上する。

ABSTRACT

Data scarcity is a bottleneck to machine learning-based perception modules, usually tackled by augmenting real data with synthetic data from simulators. Realistic models of the vehicle perception sensors are hard to formulate in closed form, and at the same time, they require the existence of paired data to be learned. In this work, we propose two unsupervised neural sensor models based on unpaired domain translations with CycleGANs and Neural Style Transfer techniques. We employ CARLA as the simulation environment to obtain simulated LiDAR point clouds, together with their annotations for data augmentation, and we use KITTI dataset as the real LiDAR dataset from which we learn the realistic sensor model mapping. Moreover, we provide a framework for data augmentation and evaluation of the developed sensor models, through extrinsic object detection task evaluation using YOLO network adapted to provide oriented bounding boxes for LiDAR Bird-eye-View projected point clouds. Evaluation is performed on unseen real LiDAR frames from KITTI dataset, with different amounts of simulated data augmentation using the two proposed approaches, showing improvement of 6% mAP for the object detection task, in favor of the augmenting LiDAR point clouds adapted with the proposed neural sensor models over the raw simulated LiDAR.

研究の動機と目的

• シミュレータからの合成データを用いて、LiDARベースの認識におけるデータ不足を補完する。
• ペア化された実データとシミュレートデータが存在しない状況でも、現実的なLiDARセンサ動作をモデル化する課題を克服する。
• シミュレートされたLiDAR点群から実LiDAR点群への分布シフトを学習する非教師付きニューラルセンサモデルを開発する。
• 物体検出を代理タスクとして用いることで、これらのモデルの有効性を評価する。
• 現実世界のテストデータにおける下流の認識性能が、現実的なセンサモデルによって向上することを実証する。

提案手法

• CARLAシミュレータを用いて、クリアでアノテーション済みのLiDAR点群を合成データとして生成する。
• 実LiDARデータの分布としてKITTIデータセットを用い、センサマッピングの学習に使用する。
• 生のシミュレートデータから実データへの非ペア翻訳を学習するため、CycleGANベースのニューラルセンサモデルを訓練する。
• 実KITTI LiDARデータのスタイルを保持したまま、シミュレートされたCARLA点群に適用するNeural Style Transfer (NST) モデルを訓練する。
• YOLOに基づくオriented物体検出パイプラインにおけるBird's Eye View投影において、両モデルを用いて現実的な合成LiDARデータを生成し、データ拡張に活用する。
• さまざまな量の拡張された合成データを用いた際の、未観測の実KITTIテストフレームにおけるmAPを指標に性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 CycleGAN や NST といった非教師付きドメイン変換技術は、ペア化されたデータが存在しない状況でも、シミュレートされたLiDARデータから実LiDARデータへの分布シフトを効果的にモデル化できるか？
• RQ2 拡張された合成データで訓練された物体検出モデルの性能は、実データのみで訓練されたモデルと比較してどうなるか？
• RQ3 現実的なニューラルセンサモデルを用いることで、生のシミュレートデータを用いた拡張に比べ、検出mAPが向上するか？
• RQ4 CycleGAN と NST ベースのニューラルセンサモデルは、視覚的忠実度および下流の検出性能の観点で、どのように比較できるか？
• RQ5 拡張された合成データの割合を増加させた際の検出性能への影響は何か？また、飽和現象が生じるか？

主な発見

• 生のシミュレートされたCARLAデータでのみ訓練されたベースラインモデルは、実KITTIテストデータでmAPが12.1%にとどまり、大きなドメインギャップが存在することが示された。
• 10万フレームの生のシミュレートデータで実KITTIデータを拡張したところ、mAPは65.3%に向上したが、これは変更のない合成データからの恩恵は限定的であることを示した。
• CycleGANベースのニューラルセンサモデルを用いた拡張により、mAPは71.5%に上昇し、生のシミュレーションに比べて6%の向上を達成した。
• NSTベースのモデルはmAPが69.3%を記録し、一貫した改善を示したが、すべての拡張比においてCycleGANに比べてわずかに劣った。
• 拡張された合成データの量が増加するにつれ、CycleGANおよびNSTモデルは持続的なmAP向上を示したが、生のシミュレーションの曲線は飽和し、劣化のリスクを示した。
• 視覚的分析の結果、CycleGANが実KITTIデータのノイズやアーティファクトをよりよく捉えていたのに対し、NSTはコンテンツをより忠実に保持したが、現実世界の不完全さのモデル化には劣っていた。