[論文レビュー] This dataset does not exist: training models from generated images

Victor Besnier, Himalaya Jain+3 more|arXiv (Cornell University)|Nov 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 5

ひとこと要約

本稿では、BigGANによって生成された合成画像のみを用いて正確な画像分類器を訓練するための3つの手法を提案する。潜在空間最適化によりより情報量の多いデータを生成し、訓練中に継続的にデータを再サンプリングすることで多様性を向上させ、テスト時におけるバッチ正規化適応（BNA）を用いた適応により性能を向上させる。これらの手法を組み合わせることで、ランダムにサンプリングされた生成画像での単純な訓練に比べ、ImageNet-10におけるトップ1精度が15%向上し、88.8%の精度を達成する。

ABSTRACT

Current generative networks are increasingly proficient in generating high-resolution realistic images. These generative networks, especially the conditional ones, can potentially become a great tool for providing new image datasets. This naturally brings the question: Can we train a classifier only on the generated data? This potential availability of nearly unlimited amounts of training data challenges standard practices for training machine learning models, which have been crafted across the years for limited and fixed size datasets. In this work we investigate this question and its related challenges. We identify ways to improve significantly the performance over naive training on randomly generated images with regular heuristics. We propose three standalone techniques that can be applied at different stages of the pipeline, i.e., data generation, training on generated data, and deploying on real data. We evaluate our proposed approaches on a subset of the ImageNet dataset and show encouraging results compared to classifiers trained on real images.

研究の動機と目的

• 最先端のGAN（BigGANなど）によって生成された合成画像のみを用いて、深層画像分類器を効果的に訓練できるかどうかを調査すること。
• 実際のImageNetデータと比較して、ランダムにサンプリングされた生成画像で分類器を訓練した場合に観察される性能低下を解消すること。
• 生成データにのみ訓練する場合に分類器の性能を向上させる、実用的で独立した手法を開発すること。
• これらの手法が個別に、および組み合わせて作用する場合に、ImageNetのサブセット（ImageNet-10）においてどの程度有効であるかを評価すること。

提案手法

• 分類器の訓練に役立つ画像を生成する潜在空間最適化（HSM）を提案し、より情報量の多い潜在コードを特定する。
• 各エポックごとに、生成された訓練データの一部を新しいサンプルで継続的に置き換える動的サンプリング（DS）を導入し、有効な多様性を向上させる。
• 訓練済み分類器の統計を実データ分布に一致させるために、テスト時適応としてバッチ正規化適応（BNA）を採用する。
• 128×128の画像を生成するための事前学習済みBigGANを生成器として使用し、すべての実験でResNet-18を分類器として用いる。
• SGD、重み減衰、および学習率の段階的減少を用いる標準的な訓練プロトコルを適用し、DSにおけるデータ置換率を変化させる。
• 実ImageNetバリデーション画像におけるトップ1精度を用いて性能を評価し、実データで訓練されたベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 最先端のGAN（BigGANなど）によって生成された合成画像のみで訓練された深層画像分類器は、競争力のある性能を達成できるか？
• RQ2 実際のImageNetデータと比較して、ランダムにサンプリングされた生成画像で分類器を訓練すると、なぜ性能が著しく低下するのか？
• RQ3 潜在空間最適化により、分類に適した生成訓練データの質と情報量はどの程度向上できるか？
• RQ4 訓練中に継続的にデータを再サンプリングすることで、モデルの一般化性能と実データに対する精度にどのような影響を与えるか？
• RQ5 テスト時適応としてのバッチ正規化適応（BNA）は、生成データと実データのドメインギャップを効果的に埋め合わせることができるか？

主な発見

• 提案手法の潜在空間最適化（HSM）は、ランダムサンプリングのベースラインに比べて、分類器の精度を1.4%から3.2%向上させる。
• 置換率0.5の動的サンプリング（DS）は、固定された生成データセットと比較して、精度を7.4%から8.2%向上させる。
• 訓練後におけるバッチ正規化適応（BNA）は、3.8%から5.8%の精度向上をもたらし、一部のケースでは完全置換（r=1）を上回る性能を示す。
• 3つの手法は相補的である：3つすべてを組み合わせることで、ベースラインから15%の精度向上が達成され、ImageNet-10におけるトップ1精度は88.8%に到達する。
• DSの性能向上効果はr=0.5を超えると急速に低下し、中程度の置換率を超えるとリターンが減少することが示唆される。
• BNAはすべての設定で一貫して精度を向上させ、特にDSと組み合わせた場合に顕著な効果を示しており、軽量な後処理適応としての価値が示される。