[論文レビュー] SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving

Zhenpei Yang, Yuning Chai+6 more|arXiv (Cornell University)|May 8, 2020

Computer Graphics and Visualization Techniques参考文献 40被引用数 4

ひとこと要約

SurfelGAN は、1回の車両走行からの実際の LiDAR およびカメラデータのみを用いて、自律走行用シミュレーションのためのリアルなカメラ画像をデータ駆動で合成する手法を提案する。シーンをテクスチャ付きのサーフェルで再構築し、その後 GAN を用いて新しい視点からの高精細な画像を生成することで、現実性が著しく向上し、物体検出のための効果的なデータ拡張が可能になる。

ABSTRACT

Autonomous driving system development is critically dependent on the ability to replay complex and diverse traffic scenarios in simulation. In such scenarios, the ability to accurately simulate the vehicle sensors such as cameras, lidar or radar is essential. However, current sensor simulators leverage gaming engines such as Unreal or Unity, requiring manual creation of environments, objects and material properties. Such approaches have limited scalability and fail to produce realistic approximations of camera, lidar, and radar data without significant additional work. In this paper, we present a simple yet effective approach to generate realistic scenario sensor data, based only on a limited amount of lidar and camera data collected by an autonomous vehicle. Our approach uses texture-mapped surfels to efficiently reconstruct the scene from an initial vehicle pass or set of passes, preserving rich information about object 3D geometry and appearance, as well as the scene conditions. We then leverage a SurfelGAN network to reconstruct realistic camera images for novel positions and orientations of the self-driving vehicle and moving objects in the scene. We demonstrate our approach on the Waymo Open Dataset and show that it can synthesize realistic camera data for simulated scenarios. We also create a novel dataset that contains cases in which two self-driving vehicles observe the same scene at the same time. We use this dataset to provide additional evaluation and demonstrate the usefulness of our SurfelGAN model.

研究の動機と目的

• ゲームエンジンを用いた手動の環境設計に依存せずに、スケーラブルで現実的なセンサー・シミュレーションを構築する課題に対処すること。
• 素材、幾何、センサー・モデルの手動設定が多用される従来のシミュレータの限界を克服すること。
• 実世界のセンサー・データを活用する完全なデータ駆動パイプラインを構築し、新たな車両軌道における高精細な視覚出力を生成すること。
• 実際のシーンの多様で写真同等の視点を合成することで、認識モデルの学習のための現実的なデータ拡張を可能にすること。
• 二台の車両による観測を含む新規のベンチマークデータセットを構築し、現実的なマルチエージェント状況下での新視点再構築の評価を可能にすること。

提案手法

• 幾何、テクスチャ、意味、外観を符号化する強化されたサーフェル表現を用いて、単一または複数走行の自律走行車両データから3次元シーンを再構築する。
• サーフェルマップを用いて、新たな自律走行車両の姿勢や物体配置からのシーンの新視点をレンダリングする。
• 低精細なサーフェルレンダリングを写真同等の画像に変換する GAN ベースの画像合成ネットワーク（SurfelGAN）を適用する。
• 実画像、サーフェルレンダリング、および新規の内部カメラデータセットを組み合わせて SurfelGAN を学習し、実画像との視覚的現実性と L1 距離を最適化する。
• 画像品質の向上と生成出力のアーティファクト低減のため、サイクル整合性損失と adversarial 学習を適用する。
• データ拡張のためのデータ生成にモデルを適用し、実データからの3次元バウンディングボックスを2次元の新視点に投影して検出器の学習に使用する。

実験結果

リサーチクエスチョン

• RQ1 手動の環境作成を一切行わずに、データ駆動アプローチが自律走行シナリオ用に写真同等のカメラ画像を生成できるか。
• RQ2 サーフェルベースのシーン再構築と GAN ベースの画像合成が、視覚的品質および統計的性質において実際のセンサー・データとどれほど一致するか。
• RQ3 SurfelGAN で生成されたデータが、実データやサーフェルレンダリングのみで学習した場合と比較して、物体検出器の学習におけるデータ拡張としてどれほど効果的か。
• RQ4 システムの失敗モードは何か。再構築誤差や欠落した幾何構造が、画像合成品質にどのように影響するか。
• RQ5 二台の車両による観測を含む新規データセットは、自律走行シミュレーションにおける新視点再構築の評価を向上させられるか。

主な発見

• SurfelGAN はサーフェルレンダリングに比べて著しく画像の現実性を向上させ、実画像との L1 距離を低減し、追加の損失やデータを用いたモデルを上回る性能を示した。
• L1 距離を最適化する SurfelGAN-S のバリエーションは、より複雑なモデル（SA および SAC）を上回る性能を達成し、ターゲット指標への直接最適化の有効性を示した。
• SurfelGAN で生成された画像を用いたデータ拡張により、車両検出器の平均精度（AP@50）が、実データのみで学習した場合と比較して 3.5 パcent point 向上（21.9% から 25.4% に）。
• SurfelGAN で生成された画像は AP@75 で 1.3% 向上（10.8% から 12.1% に）、平均 AP は 1.1% 向上（11.9% から 13.0% に）し、実用的価値が明確に示された。
• 失敗事例から、特に未マップ領域や大きな幾何誤差がある領域では再構築品質の限界が明らかとなり、GAN が現実的なテクスチャを想起できなくなることが判明した。
• 二台の車両による観測を含む提案されたデータセットは、新視点再構築の信頼性ある評価を可能にし、今後の自律走行シミュレーション研究における新たなベンチマークを提供した。