[논문 리뷰] Auditing Digital Platforms for Discrimination in Economic Opportunity Advertising

Sara Kingsley, Clara Wang외 3명|arXiv (Cornell University)|2020. 08. 21.

Impact of AI and Big Data on Business and Society참고 문헌 18인용 수 11

한 줄 요약

이 논문은 디지털 플랫폼, 특히 페이스북의 경제 기회 카테고리(주거, 고용, 신용) 광고에서의 차별적 광고를 감시하기 위한 방법론과 소프트웨어 도구를 제시한다. 페이스북 광고 라이브러리 API에서 확보한 141,063개 광고를 기계학습을 활용해 분류함으로써, 연령과 성별에 따라 광고 배포에 심각한 격차가 있음을 밝혀내었으며, 이는 소수자 그룹의 체계적 배제 위험을 드러내고, 확장 가능한 정책 기반 감시 프레임워크의 필요성을 주장한다.

ABSTRACT

Digital platforms, including social networks, are major sources of economic information. Evidence suggests that digital platforms display different socioeconomic opportunities to demographic groups. Our work addresses this issue by presenting a methodology and software to audit digital platforms for bias and discrimination. To demonstrate, an audit of the Facebook platform and advertising network was conducted. Between October 2019 and May 2020, we collected 141,063 ads from the Facebook Ad Library API. Using machine learning classifiers, each ad was automatically labeled by the primary marketing category (housing, employment, credit, political, other). For each of the categories, we analyzed the distribution of the ad content by age group and gender. From the audit findings, we considered and present the limitations, needs, infrastructure and policies that would enable researchers to conduct more systematic audits in the future and advocate for why this work must be done. We also discuss how biased distributions impact what socioeconomic opportunities people have, especially when on digital platforms some demographic groups are disproportionately excluded from the population(s) that receive(s) content regulated by law.

연구 동기 및 목표

• 디지털 플랫폼의 경제 기회 광고에서의 차별을 감시하기 위한 재현 가능한 방법론을 개발하는 것.
• 페이스북 광고 플랫폼에서 연령 및 성별 집단 간 광고 노출 격차를 식별하고 측정하는 것.
• 공개 API와 기계학습을 활용해 대규모 자동 감시가 가능한지를 입증하는 것.
• 규제된 사회경제적 기회에 접근하는 데 있어 소수자 그룹이 비례적으로 배제되는 체계적 위험을 드러내는 것.
• 지속적이고 체계적인 디지털 플랫폼 감시를 가능하게 하는 제도적 인프라와 정책 변화를 주장하는 것.

제안 방법

• 2019년 10월부터 2020년 5월까지 페이스북 광고 라이브러리 API를 통해 141,063개 광고를 확보했다.
• 기계학습 분류기를 훈련시켜 각 광고의 주요 마케팅 카테고리(주거, 고용, 신용, 정치, 기타)를 자동으로 레이블링했다.
• 각 카테고리 내에서 연령대와 성별에 따른 광고 콘텐츠의 분포를 분석하여 표현의 불균형을 탐지했다.
• 자동 분류를 통해 대규모 광고량에 걸쳐 감시를 확장함으로써 재현 가능성과 효율성을 확보했다.
• 감시의 한계를 평가하고 향후 감시를 위한 인프라, 정책, 연구 설계 개선 방안을 제안했다.
• 연구자가 디지털 플랫폼의 편향을 체계적이고 지속적으로 감시할 수 있도록 프레임워크를 제안했다.

실험 결과

연구 질문

• RQ1 페이스북 광고 플랫폼에서 경제 기회 광고(예: 주거, 고용, 신용)는 어떤 방식으로 다양한 연령 및 성별 집단 간에 분포되어 있는가?
• RQ2 광고 노출의 인구통계적 격차가 사회경제적 기회 접근성의 체계적 불평등을 반영하거나 강화하는 정도는 어느 정도인가?
• RQ3 확장 가능한 반복 가능한 디지털 광고 플랫폼 감시를 가능하게 하기 위해 필요한 기술적 및 제도적 인프라는 무엇인가?
• RQ4 자동 감시 방법은 어떻게 대규모로 디지털 광고 배달에서의 차별을 탐지하고 측정할 수 있는가?
• RQ5 디지털 경제 기회 광고에서의 차별적 패턴을 완화하기 위해 필요한 정책 및 플랫폼 수준의 변화는 무엇인가?

주요 결과

• 감시 과정에서 페이스북의 핵심 경제 기회 카테고리에서 연령 및 성별에 따라 광고 배포에 심각한 격차가 확인되었다.
• 특히 노령층과 여성은 고용 및 신용 기회 관련 광고에서 체계적으로 부족하게 표현되었다.
• 연구에서는 차별금지법에 의해 규제되는 콘텐츠(예: 공정 주거, 동등한 신용 기회)에 소수자 그룹이 비례적으로 배제되고 있음을 발견했다.
• 이 방법론은 높은 정확도로 141,063개 광고를 분류하여 대규모 자동 감시의 가능성을 입증했다.
• 현재 플랫폼의 투명성 메커니즘은 차별적 광고 배달을 탐지하거나 방지하는 데 부적절함이 드러났다.
• 이러한 발견들은 표준화되고 확장 가능한 감시 인프라와 정책 개혁이 디지털 경제 기회에 대한 공정한 접근을 보장하기 위해 긴급히 필요하다는 점을 강조한다.