[論文レビュー] Improving the Fairness of Deep Generative Models without Retraining

Shuhan Tan, Yujun Shen+1 more|arXiv (Cornell University)|Dec 9, 2020

Face recognition and analysis参考文献 43被引用数 21

ひとこと要約

この論文は、再訓練を伴わずに、潜在空間における解釈可能なセマンティック分布のシフトを用いて、事前学習された深層生成モデル、特にStyleGAN2における公平性を向上させる後処理手法を提案する。このアプローチは、人種や性別などの顔貌属性にわたる生成をバランスさせ、バイアスを顕著に低減しつつ、サンプルの多様性を維持し、下流モデルにおけるバイアス分析を可能にする。

ABSTRACT

Generative Adversarial Networks (GANs) advance face synthesis through learning the underlying distribution of observed data. Despite the high-quality generated faces, some minority groups can be rarely generated from the trained models due to a biased image generation process. To study the issue, we first conduct an empirical study on a pre-trained face synthesis model. We observe that after training the GAN model not only carries the biases in the training data but also amplifies them to some degree in the image generation process. To further improve the fairness of image generation, we propose an interpretable baseline method to balance the output facial attributes without retraining. The proposed method shifts the interpretable semantic distribution in the latent space for a more balanced image generation while preserving the sample diversity. Besides producing more balanced data regarding a particular attribute (e.g., race, gender, etc.), our method is generalizable to handle more than one attribute at a time and synthesize samples of fine-grained subgroups. We further show the positive applicability of the balanced data sampled from GANs to quantify the biases in other face recognition systems, like commercial face attribute classifiers and face super-resolution algorithms.

研究の動機と目的

• 事前学習されたGANが画像生成の過程でトレーニングデータに含まれるバイアスをどのように拡大するかを調査すること。
• 元のトレーニングデータにアクセスできない状態でも、再訓練を伴わず深層生成モデルの公平性を向上させる手法を開発すること。
• 複数の顔貌属性および細分化されたサブグループにわたるバランスの取れた生成を可能にすること。
• この手法で生成されたバランスの取れたGANデータが、顔貌属性分類器や超解像モデルなどの他のAIシステムにおけるバイアス検出に有効であることを示すこと。

提案手法

• 未表層化サブグループに対応する潜在コードを同定し、それらをシフトすることで、潜在空間におけるサンプリング戦略を変更する。
• 望ましい属性の組み合わせに基づいて潜在コードをフィルタリングおよび再重み付けするために、事前学習済みの属性スコア関数 $ f_S $ を使用する。
• フィルタリングされた潜在コードにガウス・ミックスチャネル（GMM）をフィッティングし、各サブグループのシフトされた分布をモデル化する。
• シフトされたGMMを用いて、属性にわたる出力のバランスを向上させる新しい潜在コードをサンプリングする。
• このアプローチは推論後処理として適用され、元のモデル重みを保持し、微調整を必要としない。
• 複数の属性に一般化可能であり、細分化されたサブグループのサンプリングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたGANは、トレーニングデータに含まれるバイアスをどの程度拡大するか？
• RQ2 元のトレーニングデータにアクセスできない状態でも、GAN生成画像の公平性を再訓練なしで向上させられるか？
• RQ3 提案手法は、人種や性別といった複数の顔貌属性にわたる生成のバランスをどの程度効果的に改善できるか？
• RQ4 本手法で生成されたバランスの取れたデータは、他のAIシステムにおけるバイアス検出に利用できるか？

主な発見

• 事前学習済みのStyleGAN2モデルはトレーニングデータのバイアスを拡大しており、ブラック・フェメインのような未表層化サブグループに対して顕著に少ない画像を生成している。
• 提案手法は、元のモデルと比較して公平性スコアを最大80％まで低減し、年齢-眼鏡の組み合わせでは0.0079、性別-眼鏡の組み合わせでは0.0013の公平性スコアを達成した。
• 本手法は、人種、性別、眼鏡など複数の属性にわたってバランスを改善できており、サンプルの多様性の損失は最小限に抑えられた。
• 本手法で生成されたバランスの取れたデータは、他のシステムにおけるバイアスを効果的に露呈した：PULSE超解像処理ではブラックの顔の76.4％、アジア人の顔の34.3％で人種属性が変更され、女性入力の50％で性別が変更された。
• アブレーションスタディにより、潜在コードのシフト、フィルタリング、GMMフィッティングの各要素が公平性向上に不可欠であることが確認された。
• 本手法は、人的ラベル付けやデータセットの再バランス処理を要せず、低コストかつスケーラブルな下流モデルにおけるバイアス分析を可能にする。