[論文レビュー] MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without Retraining

Ahmed Imtiaz Humayun, Randall Balestriero+1 more|arXiv (Cornell University)|Oct 15, 2021

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

MaGNETは、微調整を必要とせず、あらかじめ学習された深層生成ネットワーク（DGN）の多様体からの均一なサンプリングを可能にするプラグアンドプレイ手法であり、連続的区分線形（CPA）写像の解析的変換を活用して、データ多様体上で実際に均一な分布を達成する。この手法は、StyleGAN2などの最先端モデルにおける公平性、精度、再現率を向上させ、ラベルやアーキテクチャの変更なしに、性別バイアスを41.2%削減し、精度と再現率をそれぞれ3.0%および4.1%向上させる。

ABSTRACT

Deep Generative Networks (DGNs) are extensively employed in Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), and their variants to approximate the data manifold and distribution. However, training samples are often distributed in a non-uniform fashion on the manifold, due to costs or convenience of collection. For example, the CelebA dataset contains a large fraction of smiling faces. These inconsistencies will be reproduced when sampling from the trained DGN, which is not always preferred, e.g., for fairness or data augmentation. In response, we develop MaGNET, a novel and theoretically motivated latent space sampler for any pre-trained DGN, that produces samples uniformly distributed on the learned manifold. We perform a range of experiments on various datasets and DGNs, e.g., for the state-of-the-art StyleGAN2 trained on FFHQ dataset, uniform sampling via MaGNET increases distribution precision and recall by 4.1\\% \\& 3.0\\% and decreases gender bias by 41.2\\%, without requiring labels or retraining. As uniform distribution does not imply uniform semantic distribution, we also explore separately how semantic attributes of generated samples vary under MaGNET sampling.

研究の動機と目的

• 訓練データの分布に偏りや非均一性があることによる、深層生成ネットワーク（DGN）における非均一なサンプリングの問題に対処すること。
• 再訓練やラベルのアクセスを必要とせず、DGNが学習した多様体上で均一なサンプリングを可能にする手法の開発。
• StyleGAN2 や ProGAN などの事前学習済みモデルからの生成サンプルにおける公平性、多様性、統計的頑健性の向上。
• 微分可能なDGNに適用可能で、CPA非線形性（例：ReLU）を有する任意のDGNに理論的裏付けをもって適用可能な、プラグアンドプレイなソリューションの提供。

提案手法

• MaGNETは、CPA写像のヤコビアン行列式を用いて、標準的な潜在分布をDGNが学習した多様体上での均一分布へと変換する解析的変換を導出する。
• （リーク付き）ReLUを用いるCPAネットワークの構造を活用し、局所的な線形変換に基づく正確なサンプリング補正を計算する。
• 滑らかでない非線形性に対しては、CPA変換を一次近似（テイラー展開）により近似する。
• この手法は、事前学習済みDGNの潜在空間に直接適用され、データ多様体上で均一な分布を達成するようにサンプリング分布を調整する。
• GAN、VAE、ノーマライジングフローを含む、さまざまなDGNアーキテクチャと互換性があり、CPAまたは近似可能な非線形性を用いる限り適用可能である。
• FFHQにStyleGAN2やProGANを用いた複数のデータセットとモデルで検証され、精度、再現率、バイアス評価などの指標を用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 再訓練やラベルのアクセスなしに、事前学習済みDGNの多様体上で均一なサンプリングを達成できるか？
• RQ2 MaGNETによる均一サンプリングは、偏った訓練データからの生成サンプルにおける公平性、多様性、忠実度にどのように影響を与えるか？
• RQ3 標準的な潜在分布をCPA多様体上での均一分布へ変換する理論的根拠は何か？
• RQ4 MaGNETは、データ多様体上での幾何的性質（例：リプシッツ定数）の統計的推定を向上させるか？
• RQ5 属性がより分離された潜在空間（例：StyleGAN2のスタイル空間）においても、MaGNETサンプリングは効果的に適用可能か？

主な発見

• 標準的な潜在空間サンプリングと比較して、MaGNETをスタイル空間多様体上で適用した場合、StyleGAN2における精度と再現率はそれぞれ3.01%および4.12%向上した。
• スタイル空間でのMaGNETサンプリングにより、顔画像生成における性別バイアスは、67–33%（女性-男性）から60–40%に低下した。
• MaGNETは、標準的なサンプリングでは希少な「女性のヒゲ」や「男性のメイク」などの未代表化された属性の生成を可能にした。
• 視覚的比較により、DGNが近似しにくい多様体の領域にまでアクセスでき、サンプルの多様性が向上したことが示された。
• 精度と再現率の指標が10個の異なるランダムシードで改善されたことから、高品質な忠実度を維持しながらカバレッジを向上させたことが裏付けられた。
• このアプローチは、さまざまなDGNアーキテクチャに対して頑健であり、アーキテクチャの変更なしにピクセル空間およびスタイル空間の両方の多様体に適用可能である。