[論文レビュー] Imperfect ImaGANation: Implications of GANs Exacerbating Biases on Facial Data Augmentation and Snapchat Selfie Lenses

Niharika Jain, Alberto Olmo+3 more|arXiv (Cornell University)|Jan 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 18

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）が顔画像のデータ拡張において既存のバイアスをどのように拡大するかを調査し、無条件GAN（DCGAN、ProGAN）および条件付きGAN（CycleGAN）が、とりわけアジア系・アフリカ系・ラテン系の女性を含むマイノリティグループの画像をより少なく、低品質に生成することで、大多数のデモグラフィックグループに分布が偏ることを示している。研究では、GANがバイアスを是正するのではなく、悪化させることを実証しており、Snapchatのレンズや合成データパイプラインといった実世界のツールに影響を及ぼす可能性がある。

ABSTRACT

In this paper, we show that popular Generative Adversarial Networks (GANs) exacerbate biases along the axes of gender and skin tone when given a skewed distribution of face-shots. While practitioners celebrate synthetic data generation using GANs as an economical way to augment data for training data-hungry machine learning models, it is unclear whether they recognize the perils of such techniques when applied to real world datasets biased along latent dimensions. Specifically, we show that (1) traditional GANs further skew the distribution of a dataset consisting of engineering faculty headshots, generating minority modes less often and of worse quality and (2) image-to-image translation (conditional) GANs also exacerbate biases by lightening skin color of non-white faces and transforming female facial features to be masculine when generating faces of engineering professors. Thus, our study is meant to serve as a cautionary tale.

研究の動機と目的

• GANベースのデータ拡張技術が、性別および肌の色の次元において、顔のデータセットに既存のバイアスを伝播・拡大するかどうかを調査すること。
• DCGAN、ProGAN、CycleGANといった複数のGANアーキテクチャの性能を、歪んだエンジニアリング教員の顔写真データセットから多様で高品質な顔画像を生成する観点から評価すること。
• Snapchatの性別を変更するセルフィーレンズのような実世界のバイアスを持つAIツールに、GANで生成されたデータが及ぼす影響を評価すること。
• 訓練データが歪んでいる場合に、GANで生成された合成データを下流の機械学習タスクに倫理的に展開するリスクを浮き彫りにすること。
• GANベースのデータ生成におけるバイアス拡大を警鐘する分析を提供し、実務家がバイアス拡大を的確に評価するよう促すこと。

提案手法

• 米国上位の大学の17,245枚のエンジニアリング教員の顔写真を収集し、公開可能で画像品質が一定以上であることを条件にフィルタリングした。
• DCGAN、ProGAN、CycleGANという3つのGANアーキテクチャを用いて、歪んだデータセットから合成顔画像を生成した。
• 性別および肌の色に関する人間によるラベルを用いて、生成データの分布が実データと比較してどのようにシフトしたかを評価した。
• L2ノルム距離を用いて標準肌色チャートと比較し、Snapchatの女性性別レンズにおける肌色の変化を測定する目的の画像分析を実施した。
• モード崩壊の定性的および定量的分析を実施し、マイノリティの顔のモードにおける代表性の欠如に焦点を当てた。
• 人間による評価と顔の特徴および肌色に関する画像レベルの指標を用いて、生成データの分布と実データの分布を比較した。

実験結果

リサーチクエスチョン

• RQ1 DCGAN や ProGAN といった無条件GANは、顔画像のデータ拡張において、どの程度デモグラフィックの不均衡を悪化させるか？
• RQ2 CycleGANを用いた画像対画像翻訳は、生成された顔画像における性別および肌の色の表現にどのような影響を与えるか？
• RQ3 Snapchatのセルフィーレンズのような一般的な消費者向けAIツールは、下流のGANに存在するバイアスをどの程度反映・拡大するか？
• RQ4 GANにおけるモード崩壊は、顔データセットにおけるマイノリティグループの代表性の欠如および画像品質の低下をどのように引き起こすか？
• RQ5 訓練データが保護属性に沿って歪んでいる場合、GANで生成された合成データを下流の機械学習タスクに倫理的に展開できるか？

主な発見

• DCGANとProGANは、白人男性の顔に対して比べて、アジア系・アフリカ系・ラテン系の女性の画像を著しく少なく生成し、品質も低く、大多数のグループへのモード崩壊が顕著に見られた。
• CycleGANを用いた画像翻訳は、非白人の顔の肌色を平均して1段階明るくした一方、白人の顔には一貫性のない、あるいはランダムな影響を及ぼした。
• Snapchatの女性性別レンズは、アジア系・アフリカ系・ラテン系の女性の顔の特徴をより男性らしく、肌色を明るく変更し、客観的分析で6人の非白人顔のうち5人で一貫した肌色の明るさの変化が確認された。
• 本研究では、GANが訓練データのバイアスを単に反映するのではなく、特に性別および人種に沿って分布が歪んでいる場合に、積極的にバイアスを拡大していることが判明した。
• 最新鋭のGAN、たとえばProGANやCycleGANですらバイアスを是正できず、むしろマイノリティのデモグラフィックモードの代表性が欠落し、悪化させていることが判明した。
• 結果から、GANベースのデータ拡張は、採用、刑事司法、顔認識といったハイリスク分野における下流のAIシステムにおける構造的不平等を強化するリスクをはらんでいると考えられる。