[論文レビュー] Driving in the Matrix: Can Virtual Worlds Replace Human-Generated Annotations for Real World Tasks?

Matthew Johnson‐Roberson, Charles Barto+4 more|arXiv (Cornell University)|Oct 6, 2016

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文では、シミュレーションエンジンによって生成された写真のようなリアルな仮想世界を用いて、深層学習のための合成されたアノテート済み学習データを作成することを提案する。著者らは、仮想環境からの合成データにのみ特化して訓練された最先端の物体検出ネットワークを用いることで、人間によるアノテーションが施された現実世界データで訓練されたモデルよりも、KITTIの現実世界ベンチマークで優れた性能を達成した。これは、仮想アノテーションが現実世界のタスクにおいて人間によるアノテーションデータに代わることが可能であることを示している。

ABSTRACT

Deep learning has rapidly transformed the state of the art algorithms used to address a variety of problems in computer vision and robotics. These breakthroughs have relied upon massive amounts of human annotated training data. This time consuming process has begun impeding the progress of these deep learning efforts. This paper describes a method to incorporate photo-realistic computer images from a simulation engine to rapidly generate annotated data that can be used for the training of machine learning algorithms. We demonstrate that a state of the art architecture, which is trained only using these synthetic annotations, performs better than the identical architecture trained on human annotated real-world data, when tested on the KITTI data set for vehicle detection. By training machine learning algorithms on a rich virtual world, real objects in real scenes can be learned and classified using synthetic data. This approach offers the possibility of accelerating deep learning's application to sensor-based classification problems like those that appear in self-driving cars. The source code and data to train and validate the networks described in this paper are made available for researchers.

研究の動機と目的

• 深層学習におけるコンピュータビジョンおよびロボット分野の時間のかかる人間によるアノテーションのボトル neck を解決すること。
• 合成されたシミュレーション生成データが、現実世界のタスクにおいて人間によるアノテーションデータに代わることができるかどうかを調査すること。
• 写真のようなリアルな仮想世界から得た合成アノテーションのみで訓練されたモデルの、現実世界ベンチマークにおける性能を評価すること。
• 自律走行システムにおけるセンサーベース分類タスクのための、より速くスケーラブルなデータ生成を可能にすること。

提案手法

• 高精細なシミュレーションエンジンを用いて、都市部のドライブシーンの写真のようなリアルな画像を生成する。
• 合成シーン内の物体に対して、密で正確なアノテーション（例：バウンディングボックス）を自動的に生成する。
• 合成されたシミュレーテッドデータのみを用いて、最先端の物体検出ニューラルネットワークを訓練する。
• 車両検出のため、実世界のKITTIベンチマークデータセット上で訓練されたモデルを評価する。
• 一般化性能を向上させるために、ドメインランダマイゼーションとデータ拡張を実施する。
• 仮想世界の制御可能性を活用して、照明、天候、物体配置の変更を加え、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 写真のようなリアルなシミュレーションエンジンから得た合成データは、現実世界の視覚認識タスクに一般化可能か？
• RQ2 完全に合成アノテーションのみで訓練したモデルが、人間によるアノテーションが施された現実世界データで訓練したモデルを上回るか？
• RQ3 シミュレーションにおけるドメインランダマイゼーションは、深層学習モデルの現実世界性能をどの程度向上させるか？
• RQ4 仮想世界は、自動運転アプリケーションにおける高価な人間によるアノテート済みデータセットの必要性を排除できるか？

主な発見

• 仮想世界からの合成アノテーションのみで訓練されたディープラーニングモデルが、人間によるアノテーションが施された現実世界データで訓練された同一モデルよりも、KITTIベンチマークで優れた性能を示した。
• 合成データで訓練されたモデルは、人間によるアノテーションが施された現実世界データで訓練されたモデルよりも、KITTIテストセットで高い平均平均精度（mAP）を達成した。
• 性能向上の要因は、照明、天候、物体配置の制御された変化を含む、合成データの高い多様性とスケーラビリティに起因するとされた。
• 結果から、豊富な仮想世界から得た合成データが、現実世界の物体検出タスクにおいて人間によるアノテーションデータに効果的に代わることが示された。
• 著者らはソースコードとデータを公開しており、合成データ学習分野における再現可能性とさらなる研究を可能にしている。