[論文レビュー] Synthetic Image Data for Deep Learning

Jason W. Anderson, Marcin Ziółkowski+2 more|arXiv (Cornell University)|Dec 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文では、実際の車両CADモデルから生成された高精細で物理的に妥当な合成画像を用いて、限られた実データを補完し、セマンティックセグメンテーションのための学習データを増強する手法を提案する。実データが少量である場合に、合成データと組み合わせることで、実データのみで学習する場合に比べてモデルの精度が著しく向上することを示しており、また、合成データで事前学習することで、トランスファーラーニングのコストを最大90%まで削減できることを示している。これは、データが乏しい分野において非常に効果的である。

ABSTRACT

Realistic synthetic image data rendered from 3D models can be used to augment image sets and train image classification semantic segmentation models. In this work, we explore how high quality physically-based rendering and domain randomization can efficiently create a large synthetic dataset based on production 3D CAD models of a real vehicle. We use this dataset to quantify the effectiveness of synthetic augmentation using U-net and Double-U-net models. We found that, for this domain, synthetic images were an effective technique for augmenting limited sets of real training data. We observed that models trained on purely synthetic images had a very low mean prediction IoU on real validation images. We also observed that adding even very small amounts of real images to a synthetic dataset greatly improved accuracy, and that models trained on datasets augmented with synthetic images were more accurate than those trained on real images alone. Finally, we found that in use cases that benefit from incremental training or model specialization, pretraining a base model on synthetic images provided a sizeable reduction in the training cost of transfer learning, allowing up to 90\% of the model training to be front-loaded.

研究の動機と目的

• 産業分野の異常検出におけるセマンティックセグメンテーションのための、限られた、収集にコストがかかる実画像データの課題に対処すること。
• 合成画像データが、実データを効果的に補完し、モデルの精度を向上させることを調査すること。
• Double-U-netのようなマルチステージセグメンテーションモデルにおける、合成データを用いた事前学習およびトランスファーラーニングの有効性を評価すること。
• このタスクにおける最適な合成データ対実データの比率を特定し、段階的学習がモデル性能に与える影響を評価すること。

提案手法

• 実際の車両の3次元CADモデルを用いて、ドメインランダマイゼーションを適用することで多様性を高めた高品質で物理的に妥当な合成画像を生成した。
• U-netおよびDouble-U-netモデルを、合成画像データと実画像データのさまざまな組み合わせで学習させ、性能を評価した。
• 2段階のトレーニング戦略を採用した：まず合成データで事前学習を行い、その後実データでファインチューニングすることでトランスファーラーニングを実現した。
• ランダム初期化から学習したモデル、ImageNetで事前学習されたVGG19、合成データで事前学習されたエンコーダーを用いたモデルを比較し、トランスファーラーニングの有効性を検証した。
• Double-U-netアーキテクチャにおいて、2つのU-netブランチ間でピクセル単位の乗算とスキップ接続による特徴量統合を適用し、特徴量学習を強化した。
• 汎化性能を測定するために、実際の検証画像を用いて平均交差率（IoU）を評価した。

実験結果

リサーチクエスチョン

• RQ1 限られた実学習画像データと組み合わせた場合、合成画像データがセマンティックセグメンテーションの精度をどの程度向上させるか？
• RQ2 合成画像データのみで学習したモデルと実画像データのみで学習したモデルの性能に、どのような差が生じるか？
• RQ3 合成データで事前学習することで、データが乏しい分野におけるトランスファーラーニングのトレーニングコストを削減できるか？
• RQ4 このセグメンテーションタスクにおいて、モデル精度を最大化するための最適な合成データ対実データの比率は何か？
• RQ5 合成データで事前学習したエンコーダーを搭載したDouble-U-netアーキテクチャは、標準的なU-netやImageNetでファインチューニングされたVGG19ベースのモデルと比較して、どのように性能を発揮するか？

主な発見

• 合成データのみで学習したモデルは、実際の検証データに対して非常に低い平均予測IoU（一般化能力が著しく低いことを示す）を示した。
• わずか256～512枚の実画像を合成データセットに加えるだけで、実データのみで学習したモデルを上回る精度が得られ、モデルの精度が著しく向上した。
• 合成データで拡張されたデータセットで学習したモデルは、実データのみで学習したモデルよりも高い精度を達成した。
• 合成データで事前学習することで、トランスファーラーニングのシナリオにおいて最大90%の合計トレーニング時間を削減でき、効率的な段階的モデル特化が可能になった。
• 最適な合成データ対実データの比率は、約256～512枚の実画像であり、それ以上の合成データを追加すると、利得が減少し、最終的には精度が低下する傾向が見られた。
• 合成データで事前学習したエンコーダーを搭載したDouble-U-netモデルは、VGG19でファインチューニングしたモデルと同等またはそれ以上の精度を達成したが、トレーニングコストは高かった。