[論文レビュー] Uncovering Bias in Face Generation Models

Cristian Muñoz, Sara Zannone+2 more|arXiv (Cornell University)|Feb 22, 2023

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、顔生成モデルにおけるバイアスの包括的分析を提案しており、FID、顔マッチング誤差、自己類似性といった指標を用いて、生成器、属性変更手法（InterfaceGAN）、および事後処理によるバイアス軽減手法を評価している。生成器は強いバイアスを示しており、白人への好みが75–85%、女性性への好みが60–80%にのぼる。一方、事後処理によるバイアス軽減手法は、品質損失を最小限に抑えつつ、最も効率的な公平性向上を実現しているが、埋め込み空間における特徴濃度に影響を及ぼす。

ABSTRACT

Recent advancements in GANs and diffusion models have enabled the creation of high-resolution, hyper-realistic images. However, these models may misrepresent certain social groups and present bias. Understanding bias in these models remains an important research question, especially for tasks that support critical decision-making and could affect minorities. The contribution of this work is a novel analysis covering architectures and embedding spaces for fine-grained understanding of bias over three approaches: generators, attribute modifier, and post-processing bias mitigators. This work shows that generators suffer from bias across all social groups with attribute preferences such as between 75%-85% for whiteness and 60%-80% for the female gender (for all trained CelebA models) and low probabilities of generating children and older men. Modifier and mitigators work as post-processor and change the generator performance. For instance, attribute channel perturbation strategies modify the embedding spaces. We quantify the influence of this change on group fairness by measuring the impact on image quality and group features. Specifically, we use the Fréchet Inception Distance (FID), the Face Matching Error and the Self-Similarity score. For Interfacegan, we analyze one and two attribute channel perturbations and examine the effect on the fairness distribution and the quality of the image. Finally, we analyzed the post-processing bias mitigators, which are the fastest and most computationally efficient way to mitigate bias. We find that these mitigation techniques show similar results on KL divergence and FID score, however, self-similarity scores show a different feature concentration on the new groups of the data distribution. The weaknesses and ongoing challenges described in this work must be considered in the pursuit of creating fair and unbiased face generation models.

研究の動機と目的

• 最先端の顔生成モデル（GANおよび拡散モデルを含む）におけるバイアスの特定および定量的評価。
• アーキテクチャの選択および埋め込み空間の操作が、公平性および画像品質に与える影響の調査。
• 属性変更手法（例：InterfaceGAN）および事後処理によるバイアス軽減手法が、グループレベルのバイアスを低減する効果を評価。
• バイアス軽減手法を適用する際の、公平性、画像忠実度、特徴分布の間のトレードオフを評価。
• FID、自己類似性、顔マッチング誤差といった複数の補完的指標を用いた、生成顔データセットにおけるバイアスと公平性を測定する体系的ベンチマークの提供。

提案手法

• CelebAおよびFFHQデータセットを用いて、DDPM、LDM、StyleGAN2、CIPSの複数の顔生成モデルを訓練および評価。
• Z空間、W空間、PCA空間（GANSpace）、スタイル空間（StyleSpace）における潜在空間の操作を用いて、微細な属性編集を実現。
• スタイル空間における1チャネルおよび2チャネルの属性摂動をInterfaceGANを用いて実施し、公平性と品質のトレードオフを分析。
• Fréchet Inception Distance（FID）、顔マッチング誤差、自己類似性スコアを用いて、画像品質を測定し、分布シフトやアーティファクトを検出。
• 再訓練の代替手段として計算効率の良い事後処理によるバイアス軽減手法を評価し、KLダイバージェンスおよびFIDへの影響を比較。
• 性別、人種、年齢、感情といった保護属性におけるデータ分布を分析し、生成サンプルにおける不足表現やバイアスの定量的評価を実施。

((a))

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの顔生成モデルは、人種、性別、年齢といった特定の社会的グループに対してどの程度バイアスを示すか？
• RQ2 InterfaceGANのような属性操作技術は、異なる埋め込み空間において公平性および画像品質にどのように影響を与えるか？
• RQ3 直接的なモデルファインチューニングと比較して、事後処理によるバイアス軽減手法は、画像忠実度および分布的公平性にどのような影響を及えるか？
• RQ4 FIDのような標準的指標は、バイアス関連のアーティファクトをどのように捉えられず、信頼性のある評価に必要な追加指標（例：自己類似性）は何か？
• RQ5 バイアス軽減、画像品質、潜在空間における特徴濃度の間には、どのようなトレードオフが存在するか？

主な発見

• CelebAで学習された生成器は強いバイアスを示しており、全モデルで白人への好みが75–85%、女性性への好みが60–80%にのぼる。
• 子供および高齢男性は顕著に不足表現されており、生成画像の10–20%しか10–19歳および50歳以上に該当しない。
• 事後処理によるバイアス軽減手法は、最も計算効率が良く、他の手法と同等のFIDおよびKLダイバージェンススコアを示すが、データ分布における特徴濃度に影響を及ぼす。
• 自己類似性スコアは、軽減手法および変更手法が特徴濃度をシフトさせることを示しており、FIDのみでは捉えきれない分布歪みの可能性を示唆している。
• スタイル空間における大きな摂動（例：InterfaceGANによるもの）は、FIDが安定している間でも不要なアーティファクトを引き起こし、画像品質を劣化させる。
• FIDと自己類似性の組み合わせは、FID単体よりもより信頼性の高い評価を可能にし、自己類似性は属性固有の特徴分布における異常を検出できる。

((b))