[論文レビュー] Augmented Reality Meets Computer Vision : Efficient Data Generation for Urban Driving Scenes

Hassan Abu Alhaija, Siva Karthik Mustikovela+3 more|arXiv (Cornell University)|Aug 4, 2017

Advanced Neural Network Applications被引用数 16

ひとこと要約

本論文では、都市部ドライブシーン理解のための多様で現実的なトレーニングデータを効率的に生成するために、現実世界の画像とフォトリアリスティックな合成車両を組み合わせる新しいデータ拡張手法を提案する。最小限のユーザー入力で、カメラキャリブレーションと環境マップを用いて現実の背景にリアルに描画された3次元車両インスタンスを統合することで、KITTIおよびCityscapesベンチマークにおいて、完全に合成されたデータや限定的な実データに比べて、インスタンスセグメンテーションおよびオブジェクト検出の性能が顕著に向上する。

ABSTRACT

The success of deep learning in computer vision is based on availability of large annotated datasets. To lower the need for hand labeled images, virtually rendered 3D worlds have recently gained popularity. Creating realistic 3D content is challenging on its own and requires significant human effort. In this work, we propose an alternative paradigm which combines real and synthetic data for learning semantic instance segmentation and object detection models. Exploiting the fact that not all aspects of the scene are equally important for this task, we propose to augment real-world imagery with virtual objects of the target category. Capturing real-world images at large scale is easy and cheap, and directly provides real background appearances without the need for creating complex 3D models of the environment. We present an efficient procedure to augment real images with virtual objects. This allows us to create realistic composite images which exhibit both realistic background appearance and a large number of complex object arrangements. In contrast to modeling complete 3D environments, our augmentation approach requires only a few user interactions in combination with 3D shapes of the target object. Through extensive experimentation, we conclude the right set of parameters to produce augmented data which can maximally enhance the performance of instance segmentation models. Further, we demonstrate the utility of our approach on training standard deep models for semantic instance segmentation and object detection of cars in outdoor driving scenes. We test the models trained on our augmented data on the KITTI 2015 dataset, which we have annotated with pixel-accurate ground truth, and on Cityscapes dataset. Our experiments demonstrate that models trained on augmented imagery generalize better than those trained on synthetic data or models trained on limited amount of annotated real data.

研究の動機と目的

• 都市部ドライブシーン理解のための手作業でアノテートされた実世界データセットの高コストと多様性の不足に取り組むこと。
• 完全に合成されたデータには現実性に欠け、実世界のテストデータに一般化できないという限界を克服すること。
• データ作成における人的作業を削減しながら、データの多様性と現実性を最大化してディープラーニングモデルの学習を促進すること。
• 背景の現実性、前面の現実性、オブジェクト配置がモデルの一般化性能に与える影響を調査すること。
• 実背景と合成前面オブジェクトを組み合わせた、効率的でスケーラブルなデータ拡張パイプラインの開発

提案手法

• カメラキャリブレーションと環境マップを用いて、実世界の画像にフォトリアリスティックな3次元レンダリング車両インスタンスを統合する。
• 完全な3次元シーン再構築を避けるために、最小限のユーザーインタラクションでオブジェクト配置とカメラパラメータを定義する。
• 環境マップを用いてリアルな照明と反射を適用するが、実験ではその影響がモデル性能にほとんど与えないことが示された。
• 色補正やノイズ処理などの後処理を施して、増強画像の低レベルの現実性を向上させる。
• 物理的に不自然な配置を避けるために、ランダム3次元配置、床面への投影、またはセマンティックセグメンテーションを用いてオブジェクト位置をサンプリングする。
• 増強データでインスタンスセグメンテーションおよびオブジェクト検出モデルを学習し、KITTIやCityscapesなどの実世界ベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 実背景の現実性が、増強データで学習したインスタンスセグメンテーションモデルの一般化性能にどのように影響するか？
• RQ2 1枚の実画像に追加する合成車両の最適な数は何か？（モデル性能を最大化するため）
• RQ3 異なるオブジェクト配置戦略（ランダム3次元配置、床面への投影、セマンティックセグメンテーション、手動トラック）がモデル精度に与える影響は？
• RQ4 反射の現実性と後処理が、実際のテストデータにおけるモデル性能にどの程度影響を与えるか？
• RQ5 ハイブリッド実・合成データ拡張アプローチが、完全に合成されたデータや限定的な実データの学習を上回る性能を発揮できるか？

主な発見

• 実背景と合成車両を組み合わせた増強データで学習したモデルは、KITTI 2015およびCityscapesベンチマークの両方で、完全に合成されたデータや限定的な実データで学習したモデルを上回る性能を示した。
• 実背景の多様性が、同じ合成前面オブジェクトを使用しても、モデルの一般化において最も重要な要因である。
• 完全に合成されたVKITTIデータを用いた場合、約4,000枚を超えると合成データの追加による性能向上が頭打ちになることが示され、リターンの逓減が確認された。
• ランダムな環境マップや環境マップなしの状況でも、セグメンテーション性能への影響は最小限であり、正確な反射がモデル学習にとって必須ではないことが示唆された。
• 後処理は低レベルの現実性を顕著に向上させ、セグメンテーションタスクにおける測定可能な性能向上をもたらした。
• 床面への配置（セマンティックセグメンテーションを併用してもしなくても）は、ランダム3次元配置を上回り、効果的な増強には手動アノテーションが不要であることがわかった。