[논문 리뷰] Safety and Fairness for Content Moderation in Generative Models

Susan Hao, Piyush Kumar외 4명|arXiv (Cornell University)|2023. 06. 09.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 텍스트-이미지 생성 AI 시스템에서 안전성, 공정성, 지표 형평성을 측정하기 위한 이론적 프레임워크를 제안하며, 악성 출력을 정량화하기 위해 악성 프롬프트와 자동 레이블링을 사용한다. 이를 통해 95번째 백분율 성적 이미지 필터가 반사적 공정성을 달성했음을 입증하였으며, 여성성 표현과 남성성 표현을 가진 개인의 이미지를 거의 동일한 비율(3.6% 대 3.7%)로 차단함으로써, 근거 기반의 공정한 콘텐츠 모더레이션 결정을 뒷받침한다.

ABSTRACT

With significant advances in generative AI, new technologies are rapidly being deployed with generative components. Generative models are typically trained on large datasets, resulting in model behaviors that can mimic the worst of the content in the training data. Responsible deployment of generative technologies requires content moderation strategies, such as safety input and output filters. Here, we provide a theoretical framework for conceptualizing responsible content moderation of text-to-image generative technologies, including a demonstration of how to empirically measure the constructs we enumerate. We define and distinguish the concepts of safety, fairness, and metric equity, and enumerate example harms that can come in each domain. We then provide a demonstration of how the defined harms can be quantified. We conclude with a summary of how the style of harms quantification we demonstrate enables data-driven content moderation decisions.

연구 동기 및 목표

• 생성 AI 시스템에서 안전성, 공정성, 지표 형평성을 정의하고 측정하기 위한 실현 가능하고 데이터 기반의 프레임워크 개발.
• 단일 정답 출력이 없고 맥락에 민감한 생성 모델에서의 공정성 평가 과제 해결.
• 성적, 폭력, 폭력적 콘텐츠와 같은 해로움을 텍스트-이미지 생성 출력에서 실증적으로 정량화.
• 콘텐츠 모더레이션 필터가 소수자 집단, 특히 성별 표현에 따라 비례적으로 영향을 미치는지 평가.
• 확장 가능하고 측정 가능한 해로움 지표를 통해 근거 기반 콘텐츠 모더레이션 결정 가능화.

제안 방법

• 성별 표현을 타깃으로 삼는 다양한, 민감하고 잠재적으로 해로운 프롬프트를 생성하기 위해 악성 프롬프트 기반 설계.
• 예기치 못한 해로움 콘텐츠(혐오, 폭력, 성적 노골성)를 위한 사전 학습된 분류기를 사용한 생성 이미지의 자동 기계 레이블링.
• 성별 대명사의 차이만 있는 프롬프트 쌍(예: '여성 의사' 대 '남성 의사')을 비교함으로써 반사적 공정성 분석 적용.
• 성별 하위집단에 걸쳐 성적 노골 콘텐츠의 95번째 백분율 임계값에서의 필터 성능 측정.
• 통계적 평등성과 반사적 공정성 지표를 사용하여 모더레이션 결정이 다양한 인구 집단을 공정하게 대우하는지 평가.
• 생성 AI 콘텐츠 모더레이션을 위한 통합 평가 프레임워크에 안전성, 공정성, 지표 형평성 통합.

Figure 1 : Sexually explicit histogram.

실험 결과

연구 질문

• RQ1 단일 정답 출력이 없는 상황에서 텍스트-이미지 생성 AI 시스템에서 안전성과 공정성을 어떻게 의미 있게 정의하고 측정할 수 있는가?
• RQ2 성적 콘텐츠 필터가 여성성 표현과 남성성 표현을 가진 개인의 이미지에 대해 얼마나 비례적으로 영향을 미치는가?
• RQ3 프롬프트 쌍 비교를 통해 반사적 공정성을 생성 AI 시스템에서 실증적으로 평가할 수 있는가?
• RQ4 혐오, 폭력, 성적 콘텐츠와 같은 다양한 종류의 해로운 콘텐츠는 성별 프롬프트에 따라 생성된 이미지에 어떻게 나타나는가?
• RQ5 확장 가능하고 자동화된 지표는 어떻게 공정하고 근거 기반의 콘텐츠 모더레이션 결정을 가능하게 하는가?

주요 결과

• 성별 표현이 여성인 개인의 이미지를 3.6%의 비율로 차단했고, 남성성 표현을 가진 개인의 이미지를 3.7%의 비율로 차단하여 차단 비율이 거의 동일함을 확인.
• 일치된 반사적 프롬프트 하위집단에서 여성 프롬프트에서 유도된 이미지의 1.2%와 남성 프롬프트에서 유도된 이미지의 2.4%가 차단되었으며, 이는 1% 이내의 오차 범위 내에서 1.2%의 차이를 보임.
• 성적 노골 콘텐츠의 95번째 백분율 임계값이 반사적 공정성을 달성했으며, 두 집단 모두 거의 동일한 비율로 처벌됨.
• 인간 평가자에 의존하지 않고도 확장 가능하고 자동화된 안전성 및 공정성 측정이 가능함.
• 정량화된 해로움 지표에 기반할 경우 콘텐츠 모더레이션 결정이 근거 기반일 뿐 아니라 공정해질 수 있음을 입증.
• 거버넌스 목표와 일치하고 소수자 집단에 대한 차별적 영향을 줄이는 사용 사례 기반의 맞춤형 콘텐츠 모더레이션 정책을 지원함.

Figure 2 : Violence histogram.