[論文レビュー] Mixing Real and Synthetic Data to Enhance Neural Network Training -- A Review of Current Approaches

Viktor Seib, Benjamin P. Lange+1 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Neural Network Applications参考文献 45被引用数 23

ひとこと要約

この論文は、都市および交通シーンにおけるコンピュータビジョンの分野で、深層ニューラルネットワークの学習を向上させる手法について、実データと合成データを混合することによりレビューしている。実データと合成データを組み合わせることで、トランスファーラーニングや共同学習を用いることでドメインシフトが軽減され、合成データ単体を使用する場合よりも性能が向上することが示されており、GTA5およびSYNTHIAを合成データソースとして用いたCityscapesベンチマークで最先端の結果が得られている。

ABSTRACT

Deep neural networks have gained tremendous importance in many computer vision tasks. However, their power comes at the cost of large amounts of annotated data required for supervised training. In this work we review and compare different techniques available in the literature to improve training results without acquiring additional annotated real-world data. This goal is mostly achieved by applying annotation-preserving transformations to existing data or by synthetically creating more data.

研究の動機と目的

• 限られた実世界のアノテート済みデータにおける深層ニューラルネットワークの性能向上手法を調査すること。
• 高価な実データのアノテーションに依存するのを減らすために、合成データの有効性を評価すること。
• 実データと合成データを混合することにより、都市シーン理解におけるドメインシフトをどのように軽減できるかを分析すること。
• トランスファーラーニングおよびファインチューニングにおける合成データの最良の使い方を特定すること。
• 将来のコンピュータビジョン応用分野における、GANによって生成された写真のような合成データセットの可能性を探索すること。

提案手法

• 一般化性能を向上させるために、幾何変換、色のばらつき、CutOutといった既存のデータ拡張技術をレビューする。
• 低データ環境における画像分類モデルの性能を向上させるために、ImageNetで事前学習されたモデルを用いたトランスファーラーニングおよびファインチューニング戦略を調査する。
• SYNTHIAやGTA5といった合成都市シーンデータセットの分析を行い、それらのトレーニングプロトコルと評価指標を検討する。
• ドメインランダマイゼーションやGANベースの画像変換におけるスタイル変換を含む、ドメインシフト軽減技術を評価する。
• セマンティックマップを写真のようにリアルな画像に変換する最近のGANベースのアプローチを検討し、高精細な合成データ生成を可能にする。
• セマンティックマップの合成、オブジェクトの挿入、GANベースの画像変換を組み合わせたパイプラインを提案し、よりリアルな合成データ生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 都市シーンベンチマークにおいて、実データ単体を使用する場合と比較して、実データと合成データを混合することは、モデル性能にどのように影響するか？
• RQ2 合成データ単体で、セマンティックセグメンテーションやオブジェクト検出のための頑健なモデルを学習できるか、その範囲はどの程度か？
• RQ3 合成データで学習する際、ドメインシフトを軽減するのに最も効果的な手法は何か？
• RQ4 異なるデータ拡張およびトランスファーラーニング戦略は、限られた実データにおけるモデルの一般化性能にどのように影響するか？
• RQ5 GANベースの画像変換手法は、リアルな合成都市シーンを生成するために果たす役割は何か？

主な発見

• GTA5およびSYNTHIAから得た合成データを実際のCityscapesデータと混合することで、ドメインシフトが顕著に軽減され、合成データ単体で学習する場合よりも性能が向上する。
• 実画像で学習することにより、依然として最高の結果が得られるが、実データと合成データを組み合わせた学習は、合成データ単体での学習を上回る性能を示す。
• 合成データは、画像の大部分を占める背景クラスの学習に特に効果的であるが、前景オブジェクトのテクスチャの学習には苦労する。
• オブジェクト検出モデルは、セマンティックセグメンテーションモデルよりも合成データの恩恵をより大きく受け、オブジェクトレベルの特徴をよりうまく処理できる。
• 事前学習済みのImageNetモデルは強力なベースラインを提供し、小規模データセットにおいても、ファインチューニングを伴うトランスファーラーニングは一貫して性能を向上させる。
• セマンティックマップを写真のようにリアルな画像に変換する最新のGANベースの手法は、近い将来に大規模かつリアルな合成データセットを生成する強力な可能性を示している。