[論文レビュー] Exploring Bias in GAN-based Data Augmentation for Small Samples

Mengxiao Hu, Jinlong Li|arXiv (Cornell University)|May 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 14

ひとこと要約

この論文は、少数サンプル機械学習データセットにおけるGANベースのデータ拡張のバイアスを調査し、特定のデータセットがGANベースの拡張に適しているかどうかを評価するためのパイプラインを提案する。長期間のトレーニングが常にバイアスを低減するわけではないこと、より大きな拡張データセットがバイアスを増加させることもあること、そして反復的サンプリングとGANバリアントの選択によってバイアスを軽減できると示している。

ABSTRACT

For machine learning task, lacking sufficient samples mean the trained model has low confidence to approach the ground truth function. Until recently, after the generative adversarial networks (GAN) had been proposed, we see the hope of small samples data augmentation (DA) with realistic fake data, and many works validated the viability of GAN-based DA. Although most of the works pointed out higher accuracy can be achieved using GAN-based DA, some researchers stressed that the fake data generated from GAN has inherent bias, and in this paper, we explored when the bias is so low that it cannot hurt the performance, we set experiments to depict the bias in different GAN-based DA setting, and from the results, we design a pipeline to inspect specific dataset is efficiently-augmentable with GAN-based DA or not. And finally, depending on our trial to reduce the bias, we proposed some advice to mitigate bias in GAN-based DA application.

研究の動機と目的

• 少数サンプル機械学習タスクにおけるGAN生成の合成データに生じるバイアスの存在とその影響を調査すること。
• 特定のデータセットがGANベースの手法で効率的に拡張可能かどうかを判断するための実用的パイプラインを開発すること。
• 希少または高次元データにおいて、バイアスのためのGANベースのデータ拡張が失敗する条件を同定すること。
• GANベースのデータ拡張ワークフローにおけるバイアス低減のための実行可能な推奨事項を提供すること。

提案手法

• 代理タスクにおける分類精度を用いたバイアス測定法を提案し、拡張データ内のバイアスを定量化する。
• 合成データおよび実世界のデータセット（例：SCADI、Amazonレビュー、CIFAR-100）を用いた実験により、トレーニングイテレーションおよびサンプルサイズに伴うバイアスの推移を追跡した。
• 一回のサンプリング（one-shot sampling）およびミックスドサンプリング戦略を用いて、異なるトレーニングエポックにおけるバイアスの傾向を推定した。
• 図13に示すパイプラインを設計し、特徴量数に対するサンプル数の比（RSF）および情報量のある特徴量数に対する全特徴量数の比（RIF）に基づいて、データセットの拡張可能性を評価した。
• 複数のGANバリアント（例：ソフトマックスGAN、条件付きGAN、境界探索GAN）を検討し、それらがデータセット全体にわたってどのようにバイアスを伝播させるかを評価した。
• 反復的サンプリングと動的停止基準を適用：新しい一回のサンプリングでバイアスが増加した場合、最適なトレーニングエポックを再評価する。

実験結果

リサーチクエスチョン

• RQ1 GAN生成データのバイアスはトレーニング中にどのように変化するのか？長期間のトレーニングは常にバイアスを低減するのか？
• RQ2 生成器が収束しているように見える場合でも、拡張データセットのサイズを増加させると、バイアスが比例的に増加するのか？
• RQ3 サンプル数と特徴量数の比や情報量のある特徴量の数といったデータセットの特性が、拡張データにおけるバイアスにどのように影響するのか？
• RQ4 特定のGANバリアント（例：条件付きGAN）は、他のバリアントと比較して、特定のデータセットではバイアスの伝播を軽減できるのか？
• RQ5 どのような条件下で、合成サンプルに内在するバイアスのため、GANベースのデータ拡張が無効となるのか？

主な発見

• GAN生成器の長期間トレーニングがバイアスを必ずしも低減するわけではない。一部のケースでは収束後もバイアスが安定または増加する。
• より大きな拡張データセットは、特に生成器の分布が歪んでいる場合（例：図3c）、より高いバイアスを示すことがある。
• 情報量のある特徴量数と全特徴量数の比がより高いデータセットでは、サンプル数と特徴量数の比が同じであっても、拡張データにおけるバイアスが低くなる。
• 一部のGANバリアント（例：条件付きGAN）は、特定のデータセット（例：SCADI）ではバイアスを拡散させないが、他のバリアントは拡散させるため、バリアントに依存した挙動が見られる。
• RSFおよびRIF比を用いた提案されたパイプラインは、特定のデータセットがGANベースの拡張に適しているかどうかを予測するのに役立つ。
• バイアスのモニタリングを伴う反復的サンプリングにより、最適なトレーニングエポックを動的に選択でき、一回のサンプリングにおけるバイアスを低減できる。