[논문 리뷰] Algorithms that "Don't See Color": Comparing Biases in Lookalike and Special Ad Audiences

Piotr Sapieżyński, Avijit Ghosh외 3명|arXiv (Cornell University)|2019. 12. 16.

Ethics and Social Impacts of AI참고 문헌 26인용 수 10

한 줄 요약

이 연구는 페이스북의 특수 광고 대상자 알고리즘—성별, 연령, 인종과 같은 민감한 특성(예: 성별, 연령, 인종)을 제거하도록 설계된 알고리즘—이 광고 타겟팅에서 편향을 제거하는지 평가한다. 민감한 특성의 제거에도 불구하고, 알고리즘은 여전히 표준 룩알라인드 대상자와 거의 동일한 극도로 편향된 대상자를 생성하며, 이는 관련된 특성과 콘텐츠 기반 배달 메커니즘을 통해 편향이 지속됨을 보여준다.

ABSTRACT

Researchers and journalists have repeatedly shown that algorithms commonly used in domains such as credit, employment, healthcare, or criminal justice can have discriminatory effects. Some organizations have tried to mitigate these effects by simply removing sensitive features from an algorithm's inputs. In this paper, we explore the limits of this approach using a unique opportunity. In 2019, Facebook agreed to settle a lawsuit by removing certain sensitive features from inputs of an algorithm that identifies users similar to those provided by an advertiser for ad targeting, making both the modified and unmodified versions of the algorithm available to advertisers. We develop methodologies to measure biases along the lines of gender, age, and race in the audiences created by this modified algorithm, relative to the unmodified one. Our results provide experimental proof that merely removing demographic features from a real-world algorithmic system's inputs can fail to prevent biased outputs. As a result, organizations using algorithms to help mediate access to important life opportunities should consider other approaches to mitigating discriminatory effects.

연구 동기 및 목표

• 페이스북의 룩알라인드 대상자 알고리즘에서 민감한 인구통계적 특성(예: 성별, 연령, 인종)을 제거함으로써 광고 타겟팅의 인구통계적 편향이 줄어드는지 평가하는 것.
• 소송 이후 도입된 페이스북의 특수 광고 대상자 도구—법적 준수 조치로 도입됨—이 표준 룩알라인드 대상자와 비교해 편향을 효과적으로 완화하는지 조사하는 것.
• 민감한 특성이 제거된 상태에서도 콘텐츠 기반 광고 배달 메커니즘과 소스 대상자 구성이 지속적인 인구통계적 편향에 기여하는 방식을 분석하는 것.
• 주거, 고용, 신용 광고와 같은 고위험 분야에서 알고리즘 편향의 실제 영향을 평가하는 것.
• 실제 대규모 플랫폼에서 알고리즘 타겟팅 시스템 간의 편향을 측정하고 비교할 수 있는 방법론을 개발하는 것.

제안 방법

• 지식이 있는 인구통계적 불균형을 가진 소스 대상자(예: 전부 여성, 주로 남성, 또는 다양성 있는 구성)를 구성하여, 룩알라인드 및 특수 광고 대상자의 대상자 편향을 테스트하는 데 사용.
• 동일한 실제 광고(예: 일자리 공고)를 두 대상 유형을 통해 배포하여 성별, 연령, 인종 집단 간의 배달 분포를 측정하는 데 사용.
• 통계적 분석을 활용해 룩알라인드 대상자와 특수 광고 대상자 간의 배달 분포를 비교하고, 인구통계적 구성에 있어 유의미한 차이가 있는지 테스트하는 데 사용.
• 콘텐츠 기반 편향을 평가하기 위해 동일한 타겟 대상자에 대해 다양한 광고 문구(예: 슈퍼마켓 일자리 광고 대비 인공지능 일자리 광고)를 테스트하여 광고 콘텐츠가 배달 편향에 미치는 영향을 분리 분석하는 데 사용.
• 실제 광고 배달 패턴을 분석하기 위해 페이스북 직원들에서 유래한 특수 광고 대상자를 사용하여 실제 적용 가능성과 편향을 평가하는 데 사용.
• 통제 실험과 플랫폼 행동 관찰 분석을 결합한 혼합 방법론을 활용하여 체계적 편향을 평가하는 데 사용.

실험 결과

연구 질문

• RQ1 페이스북의 룩알라인드 대상자 알고리즘에서 인구통계적 특성을 제거함으로써 타겟 대상자의 인구통계적 편향이 어느 정도 감소하는가?
• RQ2 동일한 소스 대상자를 사용할 때 특수 광고 대상자의 인구통계적 구성은 표준 룩알라인드 대상자와 어떻게 비교되는가?
• RQ3 민감한 특성이 제거된 상태에서도 페이스북 광고 시스템의 콘텐츠 기반 배달 메커니즘이 인구통계적 편향에 어느 정도 기여하는가?
• RQ4 소스 대상자의 구성이 민감한 특성이 제거되었는지 여부와 관계없이 결과 타겟 대상자의 편향에 어떤 영향을 미치는가?
• RQ5 민감한 특성이 제거되었음에도 불구하고 편향된 결과를 낳는 알고리즘 타겟팅 도구 사용의 법적 및 윤리적 함의는 무엇인가?

주요 결과

• 100% 여성인 소스 대상자를 대상으로 한 룩알라인드 대상자는 광고를 96.1% 여성에게 배달했고, 특수 광고 대상자는 91.2% 여성에게 배달했다. 이 차이는 통계적으로 유의미하지 않았다.
• 동일한 소스 대상자를 사용할 때 특수 광고 대상자 도구는 성별, 연령, 인종 기준으로 표준 룩알라인드 대상자와 비교해 편향을 유의미하게 줄이지 못했다.
• 주로 남성이고 25–34세인 페이스북 직원들에서 유래한 특수 광고 대상자는 25–34세 남성으로 극도로 편향된 타겟 대상자로 이어져 지속적인 인구통계적 편향이 있음을 보여주었다.
• 콘텐츠 기반 배달 메커니즘이 심각한 편향을 유발했다: 슈퍼마켓 일자리 광고는 중년 여성에게 과도하게 배달되었고, 인공지능 일자리 광고는 젊은 남성에게 더 많이 배달되었으며, 이는 동일한 균형 잡힌 대상자에 대해 타겟팅한 경우에도 마찬가지였다.
• 연구는 페이스북의 광고 배달 최적화 시스템이 민감한 특성이 타겟팅 알고리즘에서 제거되었더라도 콘텐츠 관련성 추정을 통해 편향을 악화시킬 수 있음을 확인했다.
• 결과는 민감한 특성을 알고리즘 입력에서 제거하는 것만으로는 복잡한 사회기술적 환경에서 실제 알고리즘 시스템에서 차별적인 결과를 방지하는 데 부족함을 보여준다.