[論文レビュー] Applying Domain Randomization to Synthetic Data for Object Category Detection

João Borrego, Atabak Dehban+4 more|arXiv (Cornell University)|Jul 16, 2018

Advanced Neural Network Applications参考文献 23被引用数 34

ひとこと要約

この論文では、実世界のデータがわずかにしか入手できない状況において、非写真的リアルな合成データにドメインランダマイゼーションを適用することで、オブジェクト検出性能を顕著に向上させることを提案している。ランダムに設定されたテクスチャ、視点、照明を備えた合成オブジェクトでSingle-Shot Detector (SSD)を訓練することで、わずか200枚の実画像を用いた微調整ベースラインと比較してmAPが25%向上した。

ABSTRACT

Recent advances in deep learning-based object detection techniques have revolutionized their applicability in several fields. However, since these methods rely on unwieldy and large amounts of data, a common practice is to download models pre-trained on standard datasets and fine-tune them for specific application domains with a small set of domain relevant images. In this work, we show that using synthetic datasets that are not necessarily photo-realistic can be a better alternative to simply fine-tune pre-trained networks. Specifically, our results show an impressive 25% improvement in the mAP metric over a fine-tuning baseline when only about 200 labelled images are available to train. Finally, an ablation study of our results is presented to delineate the individual contribution of different components in the randomization pipeline.

研究の動機と目的

• 実世界のデータセットが乏しい低データ環境におけるオブジェクト検出性能の向上を目的とする。
• ラベル付き例が限られている状況で、非写真的リアルな合成データが実データへの微調整を上回る可能性があるかを調査すること。
• ドメインランダマイゼーションパイプライン内の異なる要素が検出器の精度に与える影響を評価すること。
• ロボット工学アプリケーションにおけるより高速で柔軟な合成データ生成を実現するため、オープンソースのGazeboプラグインを改善すること。

提案手法

• パラメトリックなオブジェクト作成とランダムなレンダリングパラメータをサポートする修正済みGazeboプラグインを用いて、合成データセットを生成した。
• ドメインランダマイゼーションパイプラインには、オブジェクトのテクスチャ（平滑、勾配、チェス盤、パーリンノイズ）、視点、照明条件のランダマイゼーションが含まれた。
• 事前学習済みのSSDモデルを、ランダムに生成された合成データで事前学習した後、小規模な実世界データセットで微調整した。
• 検出器の性能は、保持されたテストセットにおけるmAPとクラスごとのAPを用いて評価した。
• 各ランダマイゼーション要因の寄与を分離するためのアブレーションスタディを実施した。これには、テクスチャタイプとトレーニング画像の数が含まれた。
• Gazeboプラグインを拡張して、重複するオブジェクトのロードを削減し、シーン生成速度を100%向上させた。

実験結果

リサーチクエスチョン

• RQ1 わずかにしか実画像が入手できない状況で、ドメインランダマイゼーションを施した合成データが、実データへの微調整を上回る性能を示せるか？
• RQ2 テクスチャランダマイゼーションの種別（例：パーリンノイズ対平滑）が、検出器の一般化性能に与える影響は何か？
• RQ3 過学習を避けるために、高い検出精度を達成するために必要な最適な合成画像枚数は何か？
• RQ4 視点と照明の変動を含めることで、モデルのロバストネスにどのような影響があるか？
• RQ5 合成データ生成パイプラインの改善（例：プラグイン最適化）が、ドメインランダマイゼーション実験の実現可能性にどの程度寄与するか？

主な発見

• 200枚の実画像での微調整に比べ、ランダムに生成された合成データで事前学習したモデルは、mAPで25%の相対的向上を達成した。
• 最も高い性能を示したモデルは『平滑』テクスチャを含まない合成データを用いており、mAPは0.8410に達した。これは、全テクスチャを含むモデルでさえも、少ないトレーニングサンプルでも上回った。
• 『平滑』テクスチャを除いた6,000枚の合成画像で学習したモデルは、全テクスチャを含む30,000枚の画像で学習したモデルを上回った。これは、テクスチャの複雑さとデータ量のバランスが重要であることを示している。
• パーリンノイズテクスチャは検出性能にとって不可欠である一方、平滑テクスチャはモデルの精度向上に最も寄与しなかった。
• アブレーションスタディの結果、視点の変動とテクスチャの多様性が重要な要素であることが判明した。パーリンノイズの欠落によりmAPは10.7%低下した。
• 修正済みGazeboプラグインにより、重複するオブジェクトのロードを排除したことで、シーン生成速度が2倍に向上し、ドメインランダマイゼーション実験の高速化が可能になった。