[論文レビュー] Self-Diagnosing GAN: Diagnosing Underrepresented Samples in Generative Adversarial Networks

Jinhee Lee, Haeri Kim+2 more|arXiv (Cornell University)|Feb 24, 2021

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 14

ひとこと要約

本論文では、生成モデルの出力統計を用いて、GANにおける代表されないデータサブグループの生成品質と多様性を向上させるための自己診断GAN（Self-Diagnosing GAN）を提案する。本手法は、データ分布とモデル分布の乖離の平均および分散という2つの指標を導入し、トレーニング中にスコアに基づく重み付けサンプリングを適用することで、低密度領域に位置するマイノリティサンプルに重点を置き、全体の品質を損なわずにマイノリティグループのカバレッジと忠実度を顕著に向上させる。

ABSTRACT

Despite remarkable performance in producing realistic samples, Generative Adversarial Networks (GANs) often produce low-quality samples near low-density regions of the data manifold, e.g., samples of minor groups. Many techniques have been developed to improve the quality of generated samples, either by post-processing generated samples or by pre-processing the empirical data distribution, but at the cost of reduced diversity. To promote diversity in sample generation without degrading the overall quality, we propose a simple yet effective method to diagnose and emphasize underrepresented samples during training of a GAN. The main idea is to use the statistics of the discrepancy between the data distribution and the model distribution at each data instance. Based on the observation that the underrepresented samples have a high average discrepancy or high variability in discrepancy, we propose a method to emphasize those samples during training of a GAN. Our experimental results demonstrate that the proposed method improves GAN performance on various datasets, and it is especially effective in improving the quality and diversity of sample generation for minor groups.

研究の動機と目的

• GANが代表されないもしくはマイノリティなデータサブグループに対して高精細なサンプルを生成できないという継続的な問題に対処すること。
• 明示的なラベルに依存せずに、教師なしで代表されないサンプルを診断すること。
• データ多様体の低密度領域、特にマイノリティグループの多様性と忠実度の両方を向上させること。
• 計算コストの増加を伴わずに、トレーニング時における軽量な手法としてマイノリティグループのカバレッジを向上させること。
• トレーニングエポックにわたるディスクリミネーターの挙動に基づいて、問題のあるサンプルを特定する診断ツールを提供すること。

提案手法

• 本手法はディスクリミネーター出力から2つの診断指標を計算する：平均乖離（データ分布とモデル分布の平均差）および乖離の分散（トレーニングエポックにわたるこの差の変動）。
• 平均乖離は、モデル分布から一貫して遠く離れているサンプルを特定し、モード崩壊やモデル化の不十分さを示唆する。
• 乖離の分散は、不安定なモデル化挙動を示すサンプルを検出でき、しばしばマイノリティまたはレアなサブグループに関連する。
• 2つの指標の重み付き和として合成スコアを計算し、サンプルの代表されないリスクの順位付けを行う。
• トレーニング中に、スコアが高い（より代表されない）サンプルを確率的に高く選択する重み付きサンプリングを生成器に適用する。
• 本手法はGANアーキテクチャに依存せず、最小限の変更でさまざまなGANバージョンに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニングエポックにわたるディスクリミネーター乖離の平均および分散が、GANにおける代表されないもしくはマイノリティのサンプルを効果的に同定できるか？
• RQ2 トレーニング中に乖離スコアが高くなるサンプルに重点を置くことで、マイノリティグループの生成サンプルの品質と多様性が向上するか？
• RQ3 この診断手法は、全体のサンプル忠実度を低下させず、計算コストを増加させることなくGANの性能を向上させられるか？
• RQ4 事後処理やデータ前処理、ハイブリッドモデルなどの既存手法と比較して、本手法はマイノリティグループのカバレッジにおいて優れているか？
• RQ5 本手法は、さまざまなデータセットおよびマイノリティ比において、FID、IS、R、Pなどの指標で忠実度と多様性の両方をどの程度向上させるか？

主な発見

• 99%のマジョリティ率を示すColored MNISTでは、Dia-GANがマイノリティサンプルの再構成誤差を0.838から0.224に低下させ、マイノリティカバレッジが顕著に向上した。
• 99%のマジョリティ率を示すMNIST-FMNISTでも、再構成誤差は0.290から0.264に低下し、レアクラスのモデリングが改善された。
• CelebAでは、Dia-GANがマイノリティ属性（例：光沢なし、帽子を被っている）の出現頻度を、ヴァニラGANと比較して最大25%向上させ、部分的再現率（R）も10–15%向上させた。
• FIDおよびIS指標において、Dia-GANはFFHQおよびCIFAR-10で最先端の性能を達成し、StyleGAN2ではFIDが11.89、ISが8.02を記録し、ベースラインおよび先行手法を上回った。
• 本手法は忠実度（FID、IS）と多様性（R、P）の両方を同時に向上させ、通常の品質と多様性のトレードオフを回避した。
• 実験的および理論的分析により、高水準の平均乖離は、崩壊モード付近でのモデル化の不十分さを示し、乖離の分散が高くなることは、レアで難しいモデル化対象のサンプルを特定できることを確認した。