[論文レビュー] Synthetic Data Generation and Adaption for Object Detection in Smart Vending Machines

Kai Wang, Fuyuan Shi+3 more|arXiv (Cornell University)|Apr 28, 2019

Advanced Neural Network Applications参考文献 29被引用数 6

ひとこと要約

本論文では、スマート自販機における物体検出の性能を向上させるために、合成データの生成と適応のための新規パイプラインを提案する。3次元仮想環境で複雑な物体レイアウトと魚眼レンズによる歪みをシミュレートし、実データの分布に合わせて合成画像のスタイルを調整するスタイル転送生成ネットワークを適用することで、検出mAPが顕著に向上した。わずか1クラスあたり200枚の合成データでほぼ最適な性能を達成し、未適応の合成データを上回り、高価な実データ収集への依存を低減した。

ABSTRACT

This paper presents an improved scheme for the generation and adaption of synthetic images for the training of deep Convolutional Neural Networks(CNNs) to perform the object detection task in smart vending machines. While generating synthetic data has proved to be effective for complementing the training data in supervised learning methods, challenges still exist for generating virtual images which are similar to those of the complex real scenes and minimizing redundant training data. To solve these problems, we consider the simulation of cluttered objects placed in a virtual scene and the wide-angle camera with distortions used to capture the whole scene in the data generation process, and post-processed the generated images with a elaborately-designed generative network to make them more similar to the real images. Various experiments have been conducted to prove the efficiency of using the generated virtual images to enhance the detection precision on existing datasets with limited real training data and the generalization ability of applying the trained network to datasets collected in new environment.

研究の動機と目的

• スマート自販機における物体検出のための実世界データ収集の不足に取り組む。
• 合成データ生成において、ごみくずだらけの物体レイアウトと広角カメラの歪みをリアルに再現する。
• トレーニングの前に、実世界データの分布に合わせて合成画像のスタイルを適応させ、その現実性を向上させる。
• 合成データの質と一般化性能を向上させることで、大規模な実データのアノテーションに依存するのを減らす。
• ドメイン内およびドメイン外のテストセットの両方で、本手法の有効性を検証し、強力な一般化性能を実証する。

提案手法

• スマート自販機の3次元内部構造と、高精細な実物の製品3次元モデルを再構築し、仮想シーンの作成に用いる。
• 仮想シーン内で複雑で現実的なレイアウトに物体を配置し、照明条件を変化させることで、実世界のばらつきを再現する。
• 実世界の撮影条件に一致するように、幾何的歪みを伴う広角魚眼レンズカメラをシミュレートする。
• 実世界の値を基準に、カメラパラメータ、物体位置、環境要因を組み合わせて変更し、合成画像をレンダリングする。
• 生成的敵対ネットワーク（GAN）を用いて、実画像のスタイルを合成画像に転送し、両者の分布を一致させる。
• 適応された合成画像における物体のバウンディングボックスアノテーションを自動生成し、エンドツーエンドのトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 リアルなカメラモデルと物体レイアウトを用いた合成データ生成は、スマート自販機における物体検出性能を向上させるか？
• RQ2 スタイル転送は、合成画像と実画像のドメインギャップを短縮するためにどの程度有効か？
• RQ3 トレーニングの前にデータを適応させることで、実際のアノテーション数を減らしても検出精度を維持または向上できるか？
• RQ4 適応済みの合成データでトレーニングされたモデルは、異なる照明、背景、レイアウトを持つ新しい環境にも一般化できるか？
• RQ5 合成データと実データの最適なバランスは何か？　データ収集の負荷を最小限に抑えつつ、検出mAPを最大化できるか？

主な発見

• 同じ数の合成データと実データを用いた場合、提案手法は平均平均精度（mAP）をほぼ2ポイント向上させ、データ効率の向上を示した。
• スタイル転送を施した合成データでトレーニングしたモデルは、1オブジェクトクラスあたり200枚の合成データで最適なmAPに達したが、未適応の合成データでは同程度の性能を得るためには500枚のデータが必要だった。
• 適応済みの合成データは、自販機の別のレイヤーから収集した新しいテストセットに対しても良好に一般化され、実データと組み合わせてmAPがほぼ89に達した。
• データ適応ステップにより、実データの必要量が顕著に減少した。適応済みの合成データでトレーニングしたモデルは、低データ量でも未適応の合成データでトレーニングしたモデルを上回る性能を示した。
• 本手法は、PVANET、SSD、YOLOv3といった異なる検出アーキテクチャにおいても安定した改善を示し、特に隠蔽されたり歪んだ物体の精度向上が顕著であった。