[論文レビュー] Toward Understanding Generative Data Augmentation

Chenyu Zheng, Guoqiang Wu+1 more|arXiv (Cornell University)|May 27, 2023

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

この論文は、非独立同分布設定における生成的データ拡張（GDA）の一般化安定性境界を提供し、二項ガウス混合モデルとGANベースのGDAの境界を導出、シミュレーションとCIFAR-10実験で理論を検証し、特に学習データが少ない場合や過学習シナリオでGDAが有効になると強調します。

ABSTRACT

Generative data augmentation, which scales datasets by obtaining fake labeled examples from a trained conditional generative model, boosts classification performance in various learning tasks including (semi-)supervised learning, few-shot learning, and adversarially robust learning. However, little work has theoretically investigated the effect of generative data augmentation. To fill this gap, we establish a general stability bound in this not independently and identically distributed (non-i.i.d.) setting, where the learned distribution is dependent on the original train set and generally not the same as the true distribution. Our theoretical result includes the divergence between the learned distribution and the true distribution. It shows that generative data augmentation can enjoy a faster learning rate when the order of divergence term is $o(\max\left( \log(m)β_m, 1 / \sqrt{m})\right)$, where $m$ is the train set size and $β_m$ is the corresponding stability constant. We further specify the learning setup to the Gaussian mixture model and generative adversarial nets. We prove that in both cases, though generative data augmentation does not enjoy a faster learning rate, it can improve the learning guarantees at a constant level when the train set is small, which is significant when the awful overfitting occurs. Simulation results on the Gaussian mixture model and empirical results on generative adversarial nets support our theoretical conclusions. Our code is available at https://github.com/ML-GSAI/Understanding-GDA.

研究の動機と目的

• Generative Data Augmentation (GDA) の理論的学習保証の研究動機を説明する。
• learned distribution と true distribution が異なる非i.i.d. 設定での GDA の一般化安定性境界を開発する。
• 一般境界を二項ガウス混合モデル（bGMM）およびGANベースのGDAに特化して明示的な保証を導出する。
• 拡張が深層生成モデルや実務的設定（拡散モデルやCIFAR-10実験を含む）に与える影響を分析する。

提案手法

• Sを訓練データ、学習モデル分布を D_G(S)、拡張データを S_G、混合分布を D~(S) としてGDAを形式的に定義する。
• 一般化境界（Gen-error）を、分布の発散項と混合分布に関する一般化項に分解して導出する。
• GDAが o(max(log(m)β_m, 1/√m)) という発散次数でより速い学習率をもたらす条件を確立する。
• bGMMへ境界を特化して明示的な速度を得るとともに、大規模な m_G に対する負の学習率を議論する。
• 深層学習（GANs、GANベースのモデル）へ解析を拡張し、SGD安定性および分布間の TV 距離によって量を境界づけ、拡散モデルと関連付ける。

実験結果

リサーチクエスチョン

• RQ1 GDA の学習保証を確立できるか、GDA が学習性能を改善する条件を特徴づけられるか。
• RQ2 学習分布と真の分布の間の発散が GDA の有効性にどう影響するか。
• RQ3 GDA における改善とデータ消費の最適バランスを取る拡張サイズ m_G はどう決まるか。
• RQ4 実務的な深層生成モデル（GANs、拡散モデルなど）と標準データセットへ本研究の結果は拡張可能か。
• RQ5 実世界データ（例：CIFAR-10）における過学習シナリオに対する理論的境界の予測はどのようなものか。

主な発見

• GDAの安定性ベースの一般化境界は、Gen-error が分布間の発散と混合分布上の一般化エラーの和で制御されることを示す。
• 学習分布が真の分布へ十分速く収束する場合、すなわち発散項が o(max(log(m)β_m, 1/√m)) のとき、GDA はより速い学習率をもたらす可能性がある。
• bGMMとGANs に対する発散項は少なくとも max(log(m)β_m, 1/√m) に比例するため、大規模な m_S ではより速い学習率は限定的またはなし、ただしデータが不足し過学習が深刻な場合は一定程度の改善が見込まれる。
• 深層学習設定（GANsとSGDベースの分類器）では、拡散モデルは GANs よりも TV 距離でのより速い収束を示唆する一方、標準的な拡張は m_S が大きい場合成果を相殺する可能性がある。
• bGMM 上の実験は理論的境界を支持し、CIFAR-10 の実験では過学習が見られる場合に GAN ベースの GDA が有効だが、大きな m_S や標準的な拡張では害になる可能性がある。