[논문 리뷰] Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness

F. Friedrich, Manuel Brack외 5명|arXiv (Cornell University)|2023. 02. 07.

Ethics and Social Impacts of AI인용 수 28

한 줄 요약

본 논문은 Fair Diffusion을 소개한다. 이는 배포 단계 방법으로, 텍스트 지시를 통해 텍스트-투-이미지 모델을 공정성으로 이끈다. 추가 데이터 필터링이나 훈련 없이 임의로 조정 가능한 공정성 개념을 가능하게 한다.

ABSTRACT

Generative AI models have recently achieved astonishing results in quality and are consequently employed in a fast-growing number of applications. However, since they are highly data-driven, relying on billion-sized datasets randomly scraped from the internet, they also suffer from degenerated and biased human behavior, as we demonstrate. In fact, they may even reinforce such biases. To not only uncover but also combat these undesired effects, we present a novel strategy, called Fair Diffusion, to attenuate biases after the deployment of generative text-to-image models. Specifically, we demonstrate shifting a bias, based on human instructions, in any direction yielding arbitrarily new proportions for, e.g., identity groups. As our empirical evaluation demonstrates, this introduced control enables instructing generative image models on fairness, with no data filtering and additional training required.

연구 동기 및 목표

• Stable Diffusion, LAION-5B, 및 CLIP에서 성별과 직업에 관련된 편향을 식별하고 감사한다.
• 데이터 필터링이나 재훈련 없이 확산 모델의 편향을 완화하기 위한 배포 시점 전략을 제안한다.
• 사용자 주도 공정성이 생성된 이미지에서 서로 다른 공정성 개념을 달성할 수 있음을 보인다.
• 배포 후에도 공정성을 제어할 수 있음을 보여주며 한계점과 윤리적 시사점을 밝힌다.

제안 방법

• Fair Diffusion, an instruction-based fairness mechanism that adds a fair guidance term to classifier-free guidance during image generation.
• 바이어스 개념을 대상 가이드 벡터에 매핑하기 위해 조회 테이블과 편집 표현식을 활용한 텍스트 인터페이스를 사용한다.
• classifier-free guidance를 공정 가이던스 항 gamma로 확장하고 이를 s_e로 스케일하여 출력을 유도한다.
• 지정된 확률 분포 P에서 각 속성의 가이던스 방향을 무작위로 샘플하여 원하는 공정성 비율을 달성한다.
• 생성된 출력의 속성 비율을 분류기로 측정하여 사용자 정의 공정성 목표와의 정합성을 확인하며 공정성을 평가한다.
• 편집 메커니즘으로 Semantic Guidance (Sega)를 활용한 적용 가능성을 시연하고 다수의 직업 및 성별 속성을 분석한다.

Figure 1 : Fair Diffusion deployment. A user inserts a prompt to generate an image. With the help of fair guidance, the image generation is steered toward a fairer outcome. Here, the fair instructions are realized with a lookup table —the biased concept is recognized, and guidance $\gamma$ is applie

실험 결과

연구 질문

• RQ1 배포 시점의 텍스트 지침으로 재훈련이나 데이터 필터링 없이 확산 모델의 출력이 정의된 공정성 개념으로 이끌 수 있는가?
• RQ2 LAION-5B, CLIP, 및 Stable Diffusion 출력에서 나타나는 성별-직업 편향에 대해 Fair Diffusion이 미치는 영향은 무엇인가?
• RQ3 직업 및 인구통계에 걸쳐 서로 다른 공정성 개념(예: 결과의 편파성 제거)을 구현하는 데 있어 Fair Diffusion의 유연성은 얼마나 되는가?

주요 결과

• LAION-5B와 CLIP은 성별-직업 편향 및 교차적 편향을 나타내어 다운스트림 확산 모델에 영향을 준다.
• Stable Diffusion 출력은 여러 직업에 대해 LAION-5B에 비해 대칭적이거나 증폭된 성별 편향을 보이며, 편향이 구성요소 전반에 존재함을 시사한다.
• Fair Diffusion은 검토된 직업에 대해 생성된 출력을 공정 경계(통계적 평등) 쪽으로 이동시켜 입력 프롬프트나 데이터를 변경하지 않고도 편향을 완화시킨다.
• Fair Diffusion의 효과는 기저 SD 출력에서 편향이 증폭되거나 반영되거나 완화된 직업 전반에 걸쳐 견고하다.
• Fairness achieved by Fair Diffusion aligns with Def. 1 (statistical parity) on model outcomes, though some variance remains due to non-binary gender considerations and data/encoding limitations.

Figure 2 : Stable Diffusion (top row) runs the risk of lacking diversity in its output (here, e.g., only White male-appearing persons as “firefighters”). In contrast, Fair Diffusion (bottom row) allows one to introduce fairness—increasing outcome impartiality—according to a user’s preferences (here,