[論文レビュー] Object Detection using Domain Randomization and Generative Adversarial Refinement of Synthetic Images

Fernando Camaro Nogues, Andrew Huie+1 more|arXiv (Cornell University)|May 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 2被引用数 8

ひとこと要約

本論文では、合成データと数百枚の実画像のみを用いて、産業用電気部品向けのニアリアルタイムオブジェクト検出器を訓練するためのハイブリッド手法を提案する。合成画像生成時にドメインランダム化を適用し、Cyclic-GANを用いて合成画像を現実世界の分布に近づけることで、ランダム化された合成画像とGANで精錬された画像を組み合わせた場合、実画像テストデータで0.95以上のmAPを達成した。

ABSTRACT

In this work, we present an application of domain randomization and generative adversarial networks (GAN) to train a near real-time object detector for industrial electric parts, entirely in a simulated environment. Large scale availability of labelled real world data is typically rare and difficult to obtain in many industrial settings. As such here, only a few hundred of unlabelled real images are used to train a Cyclic-GAN network, in combination with various degree of domain randomization procedures. We demonstrate that this enables robust translation of synthetic images to the real world domain. We show that a combination of the original synthetic (simulation) and GAN translated images, when used for training a Mask-RCNN object detection network achieves greater than 0.95 mean average precision in detecting and classifying a collection of industrial electric parts. We evaluate the performance across different combinations of training data.

研究の動機と目的

• 産業用オブジェクト検出における実世界のアノテート済みデータの不足という課題に対処すること。
• シミュレーションベースの学習における合成画像と現実世界の画像の間のリアリティギャップを低減すること。
• ドメインランダム化とGANベースの画像精錬を組み合わせた手法の一般化性能向上への有効性を評価すること。
• 数百枚の実画像と大量の合成データのみを用いて高いmAP性能を達成すること。
• GAN精錬とドメインランダム化を施した合成データが、純粋に合成データまたは純粋に実データのみを用いた学習を上回ることを実証すること。

提案手法

• 合成画像は物理シミュレータ（Bullet）とレイトレーサー（POV-Ray）を用いて生成され、照明、物体の色、テクスチャ、カメラ位置などのランダムなレンダリングパラメータが適用された。
• ドメインランダム化は、定義された3次元ボリューム内で物体の色、テクスチャ、床の素材、カメラ位置を変化させることで、トレーニング分布の多様性を高めた。
• 10,000枚の合成画像と256枚の実画像を用いてCyclic-GANを学習し、合成画像をより現実的なドメインに変換した。学習には256×256のランダムクロップが使用された。
• 識別器は、細かいディテールを捉えるための小さな受容 field と、グローバルなコンテキストを捉えるための大きな受容 field の2本の並列ブランチを備え、変換中に物体の色を保持した。
• 最終的なモデルは、元の合成データとGAN精錬済み画像の両方を用いて、一貫したハイパーパrameterを設定したMask-RCNN検出器を訓練した。
• 性能評価は、100枚の実画像テストデータと、複数のトレーニングデータ組み合わせにおける0.5 IoUでのmAPを用いて行った。

実験結果

リサーチクエスチョン

• RQ1 ドメインランダム化のみで、産業用オブジェクト検出における合成データのリアリティギャップを低減できるか？
• RQ2 GANベースの画像変換のみで、合成データから現実世界への一般化性能を向上させられるか？
• RQ3 ドメインランダム化とGAN精錬を組み合わせることで、単独で用いた場合よりも高い検出性能が得られるか？
• RQ4 mAPを最大化するために、合成データ、ランダム化済みデータ、GAN精錬済みデータの最適なデータ組み合わせは何か？
• RQ5 数百枚の実画像を、主に合成データで学習した検出器に組み込むことで、性能にどのような影響を与えるか？

主な発見

• 固定色・テクスチャを用いた純粋な合成データでの学習では、mAPが0.812にとどまり、現実世界の条件への一般化が著しく劣っていることが示された。
• GAN精錬済みの合成画像（S_fix→real）のみを用いた場合、mAPは0.874に上昇したが、依然として性能に限界があった。
• 20%のS_fix→realと80%のS_rand+texを組み合わせた場合、全テスト設定で最高の0.955 mAPを達成した。
• S_fix→realとS_rand+texを50:50で混合した場合、0.950 mAPを達成し、精錬済みとランダム化済みの合成データを組み合わせることの有効性が確認された。
• 異なる受容 field を持つ二重識別器アーキテクチャの導入により、GAN変換中の色の保持が著しく向上し、初期の失敗モードが解消された。
• 10,000枚の合成画像と256枚の実画像のみを用いて、実世界テストデータで0.95を超えるmAPを達成した。これは、強力なゼロショット一般化性能を示している。