[論文レビュー] FairFaceGAN: Fairness-aware Facial Image-to-Image Translation

Sunhee Hwang, Sungho Park+3 more|arXiv (Cornell University)|Dec 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 20

ひとこと要約

FairFaceGAN は、保護属性（例：性別、人種、年齢）とターゲット属性の編集を分離する2つの別々の潜在空間を用いる、公平性に配慮した GAN ベースの顔画像間変換モデルであり、保護属性への不要な変更を最小限に抑える。Equalized Odds で 23.4% の向上を達成し、Fréchet Protected Attribute Distance (FPAD) が最低水準に抑えられ、画像品質についても競争力を持つ、最先端の公平性を実現している。

ABSTRACT

In this paper, we introduce FairFaceGAN, a fairness-aware facial Image-to-Image translation model, mitigating the problem of unwanted translation in protected attributes (e.g., gender, age, race) during facial attributes editing. Unlike existing models, FairFaceGAN learns fair representations with two separate latents - one related to the target attributes to translate, and the other unrelated to them. This strategy enables FairFaceGAN to separate the information about protected attributes and that of target attributes. It also prevents unwanted translation in protected attributes while target attributes editing. To evaluate the degree of fairness, we perform two types of experiments on CelebA dataset. First, we compare the fairness-aware classification performances when augmenting data by existing image translation methods and FairFaceGAN respectively. Moreover, we propose a new fairness metric, namely Frechet Protected Attribute Distance (FPAD), which measures how well protected attributes are preserved. Experimental results demonstrate that FairFaceGAN shows consistent improvements in terms of fairness over the existing image translation models. Further, we also evaluate image translation performances, where FairFaceGAN shows competitive results, compared to those of existing methods.

研究の動機と目的

• 顔画像間変換における公平性の問題に対処すること。具体的には、編集の過程で保護属性（例：性別、人種、年齢）が意図せず変更されるのを防ぐこと。
• 保護属性のアノテーションが不要な方法を開発し、属性変換中に保護属性を保持すること。
• 標準的な公平性指標に加え、保護属性の保持を測る新しい指標である FPAD を用いて公平性を評価すること。
• 従来の GAN ベース手法に比べ、顕著に公平性が向上すると同時に、高い画像品質を維持することを実証すること。

提案手法

• FairFaceGAN は、ターゲット属性編集用と保護属性情報の保持用の2つの分離された潜在空間を用いる。
• 保護属性関連特徴とターゲット属性関連特徴を分離するため、公平表現損失（FRL）を導入する。
• 入力画像と生成画像の間での保護属性の分布シフトを最小化するために、保護属性距離損失（PADL）を適用する。
• 保護属性の真値ラベルが不要であるように、事前学習済み分類モデルを用いて保護属性特徴を抽出する。
• 視覚的忠実度を維持するため、生成画像に公平性制約が加わっても、知覚的損失を用いる。
• 敵対的損失、サイクル整合性、および提案された公平性に配慮した損失を組み合わせて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースの画像変換モデルは、保護属性のアノテーションが不要な状況でも、ターゲット属性編集中に保護属性（例：性別、人種、年齢）を保持できるか？
• RQ2 ターゲット属性と保護属性の表現を分離することで、顔属性変換における公平性にどのような影響を与えるか？
• RQ3 Equalized Odds や Equality of Opportunity といった公平性指標において、FairFaceGAN は従来のモデルをどの程度上回るか？
• RQ4 提案された Fréchet Protected Attribute Distance (FPAD) 指標は、標準的な指標と比較して、保護属性の保持をどの程度効果的に測定できるか？
• RQ5 FairFaceGAN は、視覚的に現実的で、かつ属性編集において公平な高品質な画像を生成できるか？

主な発見

• CelebA において、FairFaceGAN は FPAD が 1.24 と最低水準に抑えられ、先行モデルと比較して保護属性の保持が優れていることが示された。
• 公平性評価において、FairFaceGAN はベースライン比で Equalized Odds が 23.4% 向上し、人種的差別の低減が顕著に確認された。
• 生成画像におけるターゲット属性分類精度は 92.11% を達成し、他のモデルを上回り、元のテストセットの精度 88.88% に近づいた。
• ユーザースタディの結果、FairFaceGAN は画像品質および公平性の両面で最高評価を得ており、73名の参加者が両分野で最も優れていると選んだ。
• 比較手法の中で、FID は 13.8 と競争力があり、KID は 0.0012 と最高水準を記録し、優れた画像生成品質を示した。
• 分類精度にわずかな妥協が生じたものの、FairFaceGAN の公平性の向上は顕著であり、画像変換におけるバイアス低減という主な目的が妥当であることが裏付けられた。