[논문 리뷰] FairFaceGAN: Fairness-aware Facial Image-to-Image Translation

Sunhee Hwang, Sungho Park외 3명|arXiv (Cornell University)|2020. 12. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 20

한 줄 요약

FairFaceGAN은 두 개의 별도된 잠복 공간을 사용하여 목표 속성 편집을 보호되는 속성(예: 성별, 인종, 연령)에서 분리함으로써 보호되는 속성에 대한 의도하지 않은 변경을 최소화하는 공정성 인식 GAN 기반의 얼굴 이미지 간 이미지 번역 모델이다. 이는 등가된 우연의 법칙(Equalized Odds)에서 23.4% 향상과 가장 낮은 프리셰트 보호 속성 거리(Fréchet Protected Attribute Distance, FPAD)를 달성하며 최신 기술 수준의 공정성을 확보하면서도 경쟁적인 이미지 품질을 유지한다.

ABSTRACT

In this paper, we introduce FairFaceGAN, a fairness-aware facial Image-to-Image translation model, mitigating the problem of unwanted translation in protected attributes (e.g., gender, age, race) during facial attributes editing. Unlike existing models, FairFaceGAN learns fair representations with two separate latents - one related to the target attributes to translate, and the other unrelated to them. This strategy enables FairFaceGAN to separate the information about protected attributes and that of target attributes. It also prevents unwanted translation in protected attributes while target attributes editing. To evaluate the degree of fairness, we perform two types of experiments on CelebA dataset. First, we compare the fairness-aware classification performances when augmenting data by existing image translation methods and FairFaceGAN respectively. Moreover, we propose a new fairness metric, namely Frechet Protected Attribute Distance (FPAD), which measures how well protected attributes are preserved. Experimental results demonstrate that FairFaceGAN shows consistent improvements in terms of fairness over the existing image translation models. Further, we also evaluate image translation performances, where FairFaceGAN shows competitive results, compared to those of existing methods.

연구 동기 및 목표

• 목표 속성 편집 과정에서 보호되는 속성(예: 성별, 인종, 연령)이 의도하지 않게 변경되는 얼굴 이미지 간 이미지 번역의 공정성 문제를 해결하기 위해.
• 보호되는 속성 애너테이션을 요구하지 않고도 목표 속성 번역 동안 보호되는 속성을 유지하는 방법을 개발하기 위해.
• 표준 공정성 지표와 함께 보호되는 속성 유지 정도를 측정하는 새로운 지표인 FPAD를 사용하여 공정성 평가를 수행하기 위해.
• 기존의 GAN 기반 방법보다 훨씬 높은 공정성을 확보하면서도 높은 이미지 품질을 유지하는 모델의 성능을 입증하기 위해.

제안 방법

• FairFaceGAN은 목표 속성 편집을 위한 하나와 보호되는 속성 정보를 유지하기 위한 다른 하나로 분리된 두 개의 분리된 잠복 공간을 사용한다.
• 목표 속성과 관련된 특징과 보호되는 속성과 관련된 특징을 분리하기 위해 공정한 표현 손실(Fair Representation Loss, FRL)을 도입한다.
• 입력 이미지와 생성된 이미지 간의 보호되는 속성 분포 이탈을 최소화하기 위해 보호되는 속성 거리 손실(Protected Attribute Distance Loss, PADL)을 적용한다.
• 이 모델은 보호되는 속성에 대한 진짜 레이블이 필요 없이 사전 학습된 분류 모델을 활용하여 보호되는 속성 특징을 추출한다.
• 공정성 제약 조건에도 불구하고 생성된 이미지의 높은 시각적 정밀도를 유지하기 위해 지각 손실을 활용한다.
• 모델은 적대적 손실, 사이클 일致성 및 제안된 공정성 인식 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 GAN 기반의 이미지 번역 모델이 보호되는 속성(예: 성별, 인종, 연령)을 목표 속성 편집 중에 애너테이션 없이도 유지할 수 있는가?
• RQ2 목표 속성과 보호되는 속성 표현의 분리가 얼굴 속성 번역의 공정성에 어떤 영향을 미치는가?
• RQ3 FairFaceGAN이 Equality of Opportunity 및 Equalized Odds와 같은 공정성 지표에서 기존 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 프리셰트 보호 속성 거리(Fréchet Protected Attribute Distance, FPAD) 지표가 표준 지표에 비해 보호되는 속성 유지 정도 측정에 얼마나 효과적인가?
• RQ5 FairFaceGAN은 시각적으로 현실적이면서도 공정한 속성 편집을 수행할 수 있는 고품질의 이미지를 생성할 수 있는가?

주요 결과

• FairFaceGAN은 CelebA 데이터셋에서 1.24의 가장 낮은 프리셰트 보호 속성 거리(Fréchet Protected Attribute Distance, FPAD)를 기록하여 이전 모델들에 비해 보호되는 속성 유지 능력이 뛰어나다는 것을 보여주었다.
• 공정성 평가 결과, FairFaceGAN은 기준 모델 대비 등가된 우연의 법칙(Equalized Odds)에서 23.4% 향상되어 인구 통계적 편향 감소가 뚜렷하게 나타났다.
• 생성된 이미지에서 목표 속성 분류 정확도가 92.11%를 기록하여 다른 모델들을 능가했으며, 원본 테스트 세트 정확도 88.88%에 근접하였다.
• 사용자 연구 결과, FairFaceGAN은 이미지 품질과 공정성 모두에서 가장 높은 평가를 받았으며, 73명의 참가자가 두 카테고리에서 모두 최고로 선정했다.
• 비교된 방법들 중에서 FID는 13.8을 기록하여 경쟁적인 성능을 보였고, KID는 0.0012로 가장 우수한 성능을 기록하여 강력한 이미지 생성 품질을 입증했다.
• 분류 정확도에 약간의 희생이 있었음에도 불구하고, 모델의 공정성 향상은 뚜렷했으며, 이는 이미지 번역에서 편향 완화라는 핵심 목표의 타당성을 입증했다.