[論文レビュー] A system for generating complex physically accurate sensor images for automotive applications

Zhenyi Liu, Minghao Shen+5 more|arXiv (Cornell University)|Feb 12, 2019

Image Enhancement Techniques参考文献 9被引用数 7

ひとこと要約

本論文では、定量的コンピューターグラフィックスと画像システムモデリングを組み合わせることで、自動車用途向けに物理的に正確なセンサ画像を生成するオープンソースのシミュレーションシステムを提示する。ユーザーがパラメータをカスタマイズできるため、都市部のシーンをエンドツーエンドでシミュレートでき、オブジェクト検出や分類などのタスクにおけるニューラルネットワークのトレーニングおよび評価に適したピクセルアノテーション付きの合成画像を、現実のセンサ動作に非常に近い忠実度で生成する。

ABSTRACT

We describe an open-source simulator that creates sensor irradiance and sensor images of typical automotive scenes in urban settings. The purpose of the system is to support camera design and testing for automotive applications. The user can specify scene parameters (e.g., scene type, road type, traffic density, time of day) to assemble a large number of random scenes from graphics assets stored in a database. The sensor irradiance is generated using quantitative computer graphics methods, and the sensor images are created using image systems sensor simulation. The synthetic sensor images have pixel level annotations; hence, they can be used to train and evaluate neural networks for imaging tasks, such as object detection and classification. The end-to-end simulation system supports quantitative assessment, from scene to camera to network accuracy, for automotive applications.

研究の動機と目的

• 自動車カメラの設計およびテストに適した、複雑で物理的に正確なセンサ画像を生成するシステムの開発。
• 時間帯、交通量、道路種別などのパラメータを設定可能な、大規模かつランダムな都市部シーンのシミュレーションの実現。
• シーン生成からセンサ画像出力、さらにはニューラルネットワークのパフォーマンスに至るまでのエンドツーエンドの定量的評価を可能にする。
• 自動車ビジョンタスクにおけるディープラーニングモデルのトレーニングおよび評価を可能にする、合成画像内のピクセルレベルのアノテーションの提供。
• 自律走行車開発における合成シミュレーションと現実のセンサ性能のギャップを埋める。

提案手法

• ユーザーが指定するパラメータ（シーンタイプ、道路タイプ、時間帯など）に基づいて、グラフィックスアセットのデータベースを用いて多様な都市部シーンを構築する。
• 光の伝搬および物質の性質を正確にモデル化する定量的コンピューターグラフィックス技術を用いて、センサへの放射照度を計算する。
• 光学的効果（レンズボケ、ノイズ、応答関数など）を組み込んだ画像システムシミュレーションにより、センサ画像を生成する。
• シーンの照明から最終的なピクセル出力に至るまでのイメージングチェーンを完全に物理モデル化するパイプラインをサポートする。
• ピクセルレベルのアノテーションを合成画像に埋め込み、教師あり学習タスクへの直接的な利用を可能にする。
• 拡張性と再現性に配慮した設計となっており、シミュレーションと現実データの両方における定量的検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理的に正確なシミュレーションシステムは、どのように現実の自動車カメラ出力に近いセンサ画像を生成できるか？
• RQ2 ピクセルレベルのアノテーションを備えた合成センサ画像は、自律走行車におけるオブジェクト検出のためのニューラルネットワークのトレーニングおよび評価をどの程度向上できるか？
• RQ3 設定可能なシミュレーションフレームワークは、照明、交通、環境条件の変動を制御しながら、多様で現実的である都市部シーンを生成できるか？
• RQ4 物理的光学と画像システムモデリングを統合することで、合成センサ画像の忠実度はどの程度向上するか？
• RQ5 エンドツーエンドのシミュレーションは、自動車ビジョンタスクにおけるニューラルネットワーク推論の正確性にどのような影響を与えるか？

主な発見

• 本システムは、さまざまな照明条件や環境条件下でも、現実のセンサ動作と非常に近い物理的正確性を持つセンサ画像を効果的に生成した。
• 合成画像には詳細なピクセルレベルのアノテーションが含まれており、オブジェクト検出や分類のためのディープラーニングモデルの直接的なトレーニングおよび評価が可能である。
• 時間帯、交通量、道路タイプなどのパラメータを設定可能なことで、大規模な多様な都市部シーンの生成が可能である。
• エンドツーエンドのシミュレーションパイプラインにより、シーンからセンサ画像、さらにはネットワークパフォーマンスに至るまでの定量的評価が可能となり、現実データとの照合が可能である。
• 本システムはオープンソースとして公開されており、自動車ビジョン研究分野における再現性と拡張性を促進する。
• 本手法は、自律走行車開発における現実世界データ収集への依存を低減する強力な可能性を示している。