[논문 리뷰] Fairness for Image Generation with Uncertain Sensitive Attributes

Ajil Jalal, Sushrut Karmalkar외 3명|arXiv (Cornell University)|2021. 06. 23.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 보호 그룹의 사전 정의가 필요 없이, 재구성된 이미지가 보호 그룹에 비례하게 표현하도록 보장하는 조건부 비례 표현(CPR)이라는 공정성 정의를 제안한다. 이를 통해 랭지에빈 동역학을 통한 사후 표본 추출이 그룹 레이블에 의존하지 않고도 CPR을 달성함으로써, 인종과 같이 모호하거나 둥합된 민감한 특성에 대해 강건한 공정성을 확보한다.

ABSTRACT

This work tackles the issue of fairness in the context of generative procedures, such as image super-resolution, which entail different definitions from the standard classification setting. Moreover, while traditional group fairness definitions are typically defined with respect to specified protected groups -- camouflaging the fact that these groupings are artificial and carry historical and political motivations -- we emphasize that there are no ground truth identities. For instance, should South and East Asians be viewed as a single group or separate groups? Should we consider one race as a whole or further split by gender? Choosing which groups are valid and who belongs in them is an impossible dilemma and being "fair" with respect to Asians may require being "unfair" with respect to South Asians. This motivates the introduction of definitions that allow algorithms to be \emph{oblivious} to the relevant groupings. We define several intuitive notions of group fairness and study their incompatibilities and trade-offs. We show that the natural extension of demographic parity is strongly dependent on the grouping, and \emph{impossible} to achieve obliviously. On the other hand, the conceptually new definition we introduce, Conditional Proportional Representation, can be achieved obliviously through Posterior Sampling. Our experiments validate our theoretical results and achieve fair image reconstruction using state-of-the-art generative models.

연구 동기 및 목표

• 인종과 같이 모호하거나 둥합된 민감한 특성으로 인해 전통적인 그룹 공정성 정의가 실패하는 이미지 생성에서의 공정성 문제를 다루기.
• 아시아계 vs. 남아시아계와 같이 보호 그룹을 정의하는 것이 본질적으로 정치적이며 맥락에 따라 달라지므로, 표준 공정성 정의의 기반을 약화시킨다는 것을 인식하기.
• 사전 정의된 그룹에 의존하지 않는 공정성 프레임워크를 제안하여, 모든 가능한 그룹 정의에 동시에 공정성을 달성할 수 있도록 하기.
• 민감한 속성 레이블에 접근할 수 없음에도 불구하고 공정성을 달성하는 방법을 개발하고 검증하여, 그룹의 모호성에 강건한 시스템을 확보하기.
• PULSE와 같은 기존 방법이 다각도의 데이터로 훈련된 경우조차도 모델 사전 지식과 데이터 불균형으로 인해 편향을 악화시킨다는 것을 입증하기.

제안 방법

• 재구성된 샘플이 데이터 내 사전 확률에 비례하도록 보장하는 조건부 비례 표현(CPR)이라는 공정성 개념을 도입한다.
• 랭지에빈 동역법을 통한 사후 표본 추출이 그룹 정체성을 알지 못해도 CPR을 달성할 수 있음을 증명한다.
• CPR와 표현 민족학적 평등성(RDP) 간의 불가호화를 수식적으로 규명하며, RDP가 임의의 그룹 정의에 강하게 의존한다는 것을 보여준다.
• 베이지안 추론을 사용해 이미지 재구성에 대한 사후 분포를 모델링하고, 확률적 표본 추출을 통해 공정성을 확보한다.
• 딥 제너레이티브 모델과 랭지에빈 동역법을 사용해 사후 분포에서 표본을 추출함으로써, 결정론적 재구성 편향을 피한다.
• FFHQ 및 AFHQ 데이터셋을 사용해 이미지 초해상도 복원 작업에서 실험적으로 접근법을 검증하고, PULSE 및 기타 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 인종이나 민족과 같이 임의적이거나 둥합된 그룹 정의에 의존하지 않는 방식으로 이미지 생성의 공정성을 정의할 수 있는가?
• RQ2 무지 상태(즉, 그룹 레이블이 필요 없이 모든 가능한 그룹 정의에 대해 공정성을 확보할 수 있는) 공정성 정의는 무엇인가?
• RQ3 기존의 생성 모델인 PULSE가 다양한 데이터로 훈련된 경우조차도 인종적 편향을 유발하는 이유는 무엇인가?
• RQ4 민감한 속성에 대한 사전 지식 없이도 모든 가능한 그룹 정의에 동시에 공정성을 달성할 수 있는 단일 알고리즘이 존재하는가?
• RQ5 민족학적 평등성이나 독립성 제약 조건에 의존하지 않고도 그룹의 비례적 표현을 보장하는 이미지 생성의 공정성 개념이 존재하는가?

주요 결과

• 표현 민족학적 평등성(RDP)은 보호 그룹의 선택에 매우 강하게 의존하며, 무지 상태에서 달성할 수 없어, 인종과 같이 모호한 특성에는 부적합하다.
• 조건부 비례 표현(CPR)은 그룹 레이블이 필요 없이도 그룹의 비례적 표현을 보장하는 개념적으로 새로운 공정성 정의이다.
• 랭지에빈 동역법을 통한 사후 표본 추출은 현재까지 알려진 유일한 방법로써 CPR을 완전히 무지 상태에서 달성할 수 있어, 그룹의 모호성에 강건하다.
• 실험 결과, PULSE는 개가 80%의 다수를 차지할 경우 약 80%의 고양이를 개로 재구성하는 등, 모델 사전 지식과 데이터 불균형으로 인해 심각한 편향을 보임을 입증하였다.
• 균형 잡힌 설정에서는 사후 표본 추출이 RDP, SPE, PR을 모두 충족하지만, PULSE는 공정성을 유지하지 못함을 확인하여 이론적 주장과 일치함을 입증하였다.
• 대표성의 공정성이 확보되어도, 소수 집단에 대한 재구성 품질이 열 劣하면 여전히 공정성을 해칠 수 있음을 시사하며, 품질 인식 공정성 지표의 필요성을 강조한다.