[論文レビュー] Procedural Modeling and Physically Based Rendering for Synthetic Data Generation in Automotive Applications

Apostolia Tsirikoglou, Joel Kronander+2 more|arXiv (Cornell University)|Oct 17, 2017

Computer Graphics and Visualization Techniques参考文献 7被引用数 38

ひとこと要約

本論文は、自律走行ドライビングアプリケーション向けに、手続き的ワールドモデリングとパストラースティングレンダリングを組み合わせた物理ベースの合成データ生成パイプラインを提示している。この手法により、ピクセル単位の正確なアノテーションが施された非常にリアルな画像が生成され、実データの微調整を一切行わずに、セマンティックセグメンテーションで最先端の性能を達成している。既存のデータセット（SYNTHIA や Richter et al.）を上回る性能を発揮している。

ABSTRACT

We present an overview and evaluation of a new, systematic approach for generation of highly realistic, annotated synthetic data for training of deep neural networks in computer vision tasks. The main contribution is a procedural world modeling approach enabling high variability coupled with physically accurate image synthesis, and is a departure from the hand-modeled virtual worlds and approximate image synthesis methods used in real-time applications. The benefits of our approach include flexible, physically accurate and scalable image synthesis, implicit wide coverage of classes and features, and complete data introspection for annotations, which all contribute to quality and cost efficiency. To evaluate our approach and the efficacy of the resulting data, we use semantic segmentation for autonomous vehicles and robotic navigation as the main application, and we train multiple deep learning architectures using synthetic data with and without fine tuning on organic (i.e. real-world) data. The evaluation shows that our approach improves the neural network's performance and that even modest implementation efforts produce state-of-the-art results.

研究の動機と目的

• 自律走行のディープニューラルネットワーク学習におけるデータ不足とドメインシフトという重要なボトル neck を解決すること。
• 視覚的忠実度とアノテーション品質の面で、手作業でモデリングされたゲームエンジンベースのデータセットを上回る、スケーラブルでリアルな合成データ生成パイプラインを開発すること。
• 高品質なリアルリズムと手続き的多様性を持つ合成データのみで、セマンティックセグメンテーションにおいて最先端の性能を達成できるかどうかを評価すること。
• 物理的に正確なレンダリングと完全なアノテーションの可視化を備えた合成データが、実世界データの微調整に依存する必要をなくすまたは低減できることを示すこと。
• 手続き的変動と物理的リアリズムがモデルの一般化性能および性能に与える影響を分析すること。

提案手法

• システムは、パラメータ化された空間内で幾何学的形状、素材、照明、オブジェクト配置を変化させることで、各画像に対して自動的に独自の3次元シーンを手続き的に合成する。
• モンテカルロ光伝達シミュレーションを用いたパストレーシングを採用することで、動きぼけやアリジング効果を含む物理的に正確な画像合成を実現する。
• 素材と表面特性は物理ベースの表現を用いてモデル化され、リアルな光の反応と色応答を保証する。
• センサーモデリング（例：レンズ効果、被写界深度）を統合することで、実際のカメラ挙動を模倣し、フォトリアルな画像を生成する。
• 生成された各画像にはピクセル単位の正例アノテーション（セマンティックおよびインスタンスセグメンテーション）が付随しており、完全な可視化とデータ品質管理が可能となる。
• クラウドベースの計算を活用することで、全プロセスがスケーラブルとなり、数10万～数百万枚の多様でアノテーション済みの画像の生成が可能となる。

実験結果

リサーチクエスチョン

• RQ1 手続き的ワールドモデリングとパストレーシングを用いて生成された合成データセットが、実世界データの微調整なしにセマンティックセグメンテーションで最先端の性能を達成できるか？
• RQ2 光伝達シミュレーションと素材モデリングのリアリズムが、ディープニューラルネットワークの一般化性能および性能に与える影響はいかほどか？
• RQ3 固定ワールドのゲームエンジンベースデータセットと比較して、シーン生成における手続き的多様性がドメインシフトをどの程度低減できるか？
• RQ4 訓練に使用する際、合成データの品質が実世界データセットと比較して、孤立して使用された場合にどの程度の性能を示すか？
• RQ5 高精細レンダリングに伴う計算コストと、モデル推論精度の向上の間には、どのようなトレードオフがあるか？

主な発見

• 提案された合成データセットは、実世界データの微調整なしに、セマンティックセグメンテーションベンチマークで最先端の性能を達成しており、SYNTHIA や Richter et al. などの既存データセットを上回っている。
• DFCNフロントエンドアーキテクチャでは、16クラス中10クラスで40%以上のIoUを達成しており、特に道路、歩道、建物、歩行者のセグメンテーションで顕著な向上が見られた。
• FRRN-Aアーキテクチャでは、16クラス中7クラスで少なくとも40%のIoUを達成しており、空、人物、車両のセグメンテーションで顕著な改善が見られた。一方、SYNTHIA や Richter et al. のデータセットでは、10クラスで40%未満のIoUにとどまっている。
• 壁やフェンスの訓練例が一切存在しないにもかかわらず、提案された合成データで学習したモデルは、これらのクラスに対しても良好に一般化しており、リアルな外観と照明から強力な一般化が可能であることが示された。
• Cityscapesの実データで微調整を施すことでさらに性能が向上したが、合成データのみのベースラインでも、既存の合成データベースラインを上回っており、リアリズムと手続き的多様性の価値を裏付けた。
• 著者らは、自身のデータセット作成に要した作業量が、Richter et al. よりも3〜4桁小さいと推定しており、このアプローチの効率性を強調している。