[論文レビュー] Imagining an Engineer: On GAN-Based Data Augmentation Perpetuating Biases

Niharika Jain, Lydia Manikonda+3 more|arXiv (Cornell University)|Nov 9, 2018

Digital Media Forensic Detection参考文献 9被引用数 7

ひとこと要約

この論文は、生成対話ネットワーク（GAN）を用いたデータ拡張が、合成画像を生成する際、社会的バイアス――特に性別および肌の色のバイアス――を固定化し、ひどい場合には拡大することを示している。実際の頭部写真のデータセットを用いて訓練されたDCGANを用い、合成された顔画像は元のデータよりも顔貌がより男性的で、肌がより明るい色調になっていることが、アマゾン・メカニカル・ターキュのヒトによるアノテーション研究で確認された。

ABSTRACT

The use of synthetic data generated by Generative Adversarial Networks (GANs) has become quite a popular method to do data augmentation for many applications. While practitioners celebrate this as an economical way to get more synthetic data that can be used to train downstream classifiers, it is not clear that they recognize the inherent pitfalls of this technique. In this paper, we aim to exhort practitioners against deriving any false sense of security against data biases based on data augmentation. To drive this point home, we show that starting with a dataset consisting of head-shots of engineering researchers, GAN-based augmentation "imagines" synthetic engineers, most of whom have masculine features and white skin color (inferred from a human subject study conducted on Amazon Mechanical Turk). This demonstrates how biases inherent in the training data are reinforced, and sometimes even amplified, by GAN-based data augmentation; it should serve as a cautionary tale for the lay practitioners.

研究の動機と目的

• GANベースのデータ拡張が、訓練データに存在するバイアスを固定化または拡大するかどうかを調査すること。
• GANによって生成された合成データが、性別や肌の色といった社会的バイアスをどのように反映し、ひどい場合には歪めてしまうかを検討すること。
• アマゾン・メカニカル・ターキュにおけるヒトによるアノテーション研究を通じて、GANによって生成されたデータの信頼性と公平性を評価すること。
• GANから生成された合成データがバイアスのないもの、あるいは多様な集団を代表するものだと仮定するのを実務家が避けるべきであることを警告すること。
• 医療や異常検出といったハイリスク分野で、バイアスが深刻な結果をもたらす可能性があるため、GANによる拡張データの使用に伴うリスクを強調すること。

提案手法

• エンジニアリング研究者のヘッドショットのデータセットを用いて、深層畳み込みネットワーク（DCGAN）を訓練し、合成顔画像を生成した。
• 生成器ネットワークは、100次元のノイズベクトル（正規分布 𝒩(0,1) から抽出）を入力とし、64×64ピクセルの画像を出力した。
• 識別器は、本物の画像と生成された画像を区別するように訓練され、生成器がより現実的なサンプルを生成するよう促された。
• アマゾン・メカニカル・ターキュを用いたヒトによるアノテーション研究を通じて、本物および合成画像における性別および肌の色の特徴の認識を評価した。
• 特徴のコンSENSUSを決定するために投票の閾値が用いられ、信頼性はラベルに同意したアノテータの数によって測定された。
• アノテータ間の一貫性を評価するために、Fleiss KappaおよびKrippendorff’s alphaを用いてアノテータ間合意度を定量化した。

実験結果

リサーチクエスチョン

• RQ1 GANベースのデータ拡張は、元の訓練データに存在する性別および肌の色のバイアスをどの程度固定化するのか？
• RQ2 GANによって生成された合成データは、既存のバイアスを拡大するのか、それとも単にそれらを反映するにとどまるのか？
• RQ3 ヒトのアノテータは、本物の画像と合成画像の両方において、性別特徴と肌の色をどの程度一貫して特定できるか？
• RQ4 本物のデータと合成データの両方において、アノテータ数の増加に伴い、ヒトによるアノテーションの信頼性はどのように変化するか？
• RQ5 アノテータ間合意度指標は、合成画像と本物の画像の間で、知覚的品質や曖昧さの違いを明らかにできるか？

主な発見

• DCGANによって生成された合成画像は、顔貌の男性的特徴に強くバイアスを示しており、13名のアノテータ全員が『ほとんど女性的特徴』と判断した画像は1つも存在しなかった。
• 『ほとんど男性的特徴』と判断したアノテータの数は、高いコンセンサス閾値に対しても依然として高く維持されており、バイアスの強化が顕著に確認された。
• 肌の色に関しては、合成データにおいて『白人』と判断したアノテータの割合は高いままだったが、10名以上のアノテータが関与すると『非白人』と判断した割合は20％を下回り、バイアスの拡大が示された。
• 性別特徴の判断に関してはFleiss Kappa = 0.765と高く、肌の色の判断はFleiss Kappa = 0.326と低く、肌の色はより曖昧で主観的であることが示唆された。
• ヒトによるアノテーション研究の結果、アノテータは本物の画像よりも合成画像に対してより多く合意に達していたことから、GANによって生成された顔画像は知覚的品質が低いか、曖昧さが高くなっている可能性がある。
• 結果から、GANはバイアスを単に再現するのではなく、特に性別や人種といった感受性の高い属性においてバイアスを拡大する可能性があることが示され、合成データが中立的または多様性を反映していると仮定することは誤りであることが明らかになった。