[論文レビュー] Analysis of Training Object Detection Models with Synthetic Data

Bram Vanherle, Steven Moonen+2 more|arXiv (Cornell University)|Nov 29, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、DIMOデータセットを用いたデータ生成戦略とトレーニング技術の分析を通じて、合成データをオブジェクト検出モデルのトレーニングに効果的に活用する方法を調査している。小さな量の実データを微調整することで性能が著しく向上し、83.7 mAPを達成し、実データのみでトレーニングされたモデルを上回った。また、実世界のドメインに一致する場合、特徴抽出器を再学習する完全なネットワークの微調整の方が、特徴を固定した微調整よりも優れた性能を示した。

ABSTRACT

Recently, the use of synthetic training data has been on the rise as it offers correctly labelled datasets at a lower cost. The downside of this technique is that the so-called domain gap between the real target images and synthetic training data leads to a decrease in performance. In this paper, we attempt to provide a holistic overview of how to use synthetic data for object detection. We analyse aspects of generating the data as well as techniques used to train the models. We do so by devising a number of experiments, training models on the Dataset of Industrial Metal Objects (DIMO). This dataset contains both real and synthetic images. The synthetic part has different subsets that are either exact synthetic copies of the real data or are copies with certain aspects randomised. This allows us to analyse what types of variation are good for synthetic training data and which aspects should be modelled to closely match the target data. Furthermore, we investigate what types of training techniques are beneficial towards generalisation to real data, and how to use them. Additionally, we analyse how real images can be leveraged when training on synthetic images. All these experiments are validated on real data and benchmarked to models trained on real data. The results offer a number of interesting takeaways that can serve as basic guidelines for using synthetic data for object detection. Code to reproduce results is available at https://github.com/EDM-Research/DIMO_ObjectDetection.

研究の動機と目的

• 実世界のオブジェクト検出への一般化を向上させるために、効果的な合成データ生成戦略を特定すること。
• 合成データトレーニングにおけるトランスファーラーニングやデータ拡張などのトレーニング技術を評価すること。
• 実画像を合成トレーニングパイプラインに最適に統合する方法を特定すること。
• 実テストデータ上で、合成データのみ、実データのみ、ハイブリッドモデルの性能をベンチマークすること。
• 産業的・研究的応用に広く適用可能な、合成データをオブジェクト検出に活用する実用的ガイドラインを提供すること。

提案手法

• 実験は、実画像、正確な合成コピー、およびランダムに変更された照明・ポーズ・テクスチャを有する合成バリエーションを含むDIMOデータセットを用いて実施された。
• 標準的なオブジェクト検出アーキテクチャを用いてデータ拡張とトランスファーラーニングを適用し、特徴抽出器を固定した場合と微調整した場合を比較した。
• 実データ統合戦略として2つのアプローチを評価した：トレーニング中に実データと合成データを混合する方法、および事前に合成データで学習したモデルを実データで微調整する方法。
• 性能は、ホールドアウトされた実テストセットにおける平均平均精度（mAP）で測定され、データ比と変種タイプに関するアブレーションスタディが実施された。
• 全データセットサイズを固定した3510枚に設定し、実データ対合成データ比を1:9から1:1に変化させ、スケーラビリティと効率性を評価した。
• すべての実験は実世界のデータで検証され、実用的関連性とドメイン一般化の確保が図られた。

実験結果

リサーチクエスチョン

• RQ1 照明、ポーズ、テクスチャなどの合成データ内の変更要因のうち、実画像への一般化を最も向上させるのはどれか？
• RQ2 合成データでトレーニングする場合、特徴抽出器を固定するのではなく、ネットワーク全体を微調整する方が優れているか？
• RQ3 少量の実データと合成データを組み合わせることで、実世界の性能向上にどの程度効果があるか？
• RQ4 実テストセットにおけるmAPを最大化するための実データ対合成データ比の最適値は何か？
• RQ5 実データの正確な再現よりも、ドメインランダマイゼーションを用いた合成データ生成の方が、一般化性能に優れるか？

主な発見

• 完全にランダム化された合成データで事前学習したモデルを、わずか10％の実画像で微調整したところ、82.05 mAPを達成し、実データのみのベースラインからほぼ5ポイント上回った。
• 微調整を用いた1:1の実データ対合成データ比を採用したハイブリッドモデルが、83.7 mAPを記録し、合成データのみおよび実データのみのモデルを上回った。
• トレーニング中に実データと合成データを混合した場合、わずかな実データ比でも性能が向上し、合成データ:実データ比が5:1のとき、80.13 mAPがピークに達した。
• 特徴抽出器を固定するのではなく、ネットワーク全体を再学習するトランスファーラーニングが、特徴抽出器を固定した微調整よりも優れた結果をもたらした。これは、一部の先行研究とは対照的である。
• 合成データの照明およびポーズ条件を実ドメインに合わせることで性能が向上したが、これは完全な微調整と組み合わせて初めて有効に機能した。
• 結果として、特に微調整を組み合わせることで、最小限の実データを用いても合成データが非常に効果的であることが示された。これは、高性能なモデルをコスト効率よく構築するための有効な道筋を示している。