[논문 리뷰] Measuring Discrepancies in Airbnb Guest Acceptance Rates Using Anonymized Demographic Data

Siddhartha Basu, Ruthie Berman외 7명|arXiv (Cornell University)|2022. 04. 25.

Sharing Economy and Platforms인용 수 4

한 줄 요약

이 논문은 익명화된 민족적 배경 데이터를 사용하여 Airbnb 게스트 예약 과정에서의 인종 경험 격차를 측정하기 위한 프라이버시 보장 시스템을 제안한다. p-민감도 k-음수성(anonymous) 기법을 적용하여 재식별을 방지한다. 시뮬레이션을 통해 이 방법이 익명화되지 않은 데이터와 비교해 유사한 정밀도를 달성함을 입증하며, 사용자 프라이버시를 해치지 않으면서도 공정한 플랫폼 정책 평가가 가능하다.

ABSTRACT

In order to make technological systems and platforms more equitable, organizations must be able to measure the scale of potential inequities as well as the efficacy of proposed solutions. In this paper, we present a system that measures discrepancies in platform user experience that are attributable to perceived race (experience gaps) using anonymized data. This allows for progress to be made in this area while limiting any potential privacy risk. Specifically, the system enforces the privacy model of p-sensitive k-anonymity to conduct measurement without ever storing or having access to a 1:1 mapping between user identifiers and perceived race. We test this system in the context of the Airbnb guest booking experience. Our simulation-based power analysis shows that the system can measure the efficacy of proposed platform-wide interventions with comparable precision to non-anonymized data. Our work establishes that measurement of experience gaps with anonymized data is feasible and can be used to guide the development of policies to promote equitable outcomes for users of Airbnb as well as other technology platforms.

연구 동기 및 목표

• 사용자 프라이버시를 해치지 않으면서도 게스트의 인종 기반 편향을 측정할 수 있는 방법을 개발하는 것.
• 사용자 식별자와 인식된 인종 간의 1:1 매핑 관계가 영구적으로 저장되거나 접근되지 않도록 보장하는 것.
• 비익명화된 접근 방식과 유사한 정밀도를 유지하면서도 플랫폼 전체의 개선 조치가 공정성에 미치는 영향을 평가하는 것.
• 다른 디지털 플랫폼이 유사한 공정성 문제를 해결하는 데 적용 가능한 확장 가능하고 프라이버시 보장 프레임워크를 수립하는 것.

제안 방법

• 시스템은 p-민감도 k-음수성 기법을 사용하여 사용자 데이터를 익명화함으로써, 각 사용자 기록이 동일한 인식된 인종을 가진 최소 k-1명의 다른 사용자와 구별되지 않도록 보장한다.
• 익명화된 민족적 배경 데이터는 공개 데이터를 기반으로 훈련된 이름 기반 추론 모델을 통해 인식된 인종을 추정한다.
• 예약 성공률의 인식된 인종 집단 간 격차를 탐지하는 데 필요한 통계적 정밀도를 평가하기 위해 시뮬레이션 기반의 검정력 분석을 수행한다.
• 직접적인 사용자 식별자와 인식된 인종 간의 연결 고리를 저장하거나 접근하지 않음으로써 프라이버시 위험을 최소화한다.
• 의미 있는 예약 성공률 격차 탐지 능력을 평가하기 위해 합성 데이터 시뮬레이션을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 익명화된 민족적 배경 데이터를 사용하여 Airbnb 게스트 예약 과정의 경험 격차를 정확하게 측정할 수 있는가?
• RQ2 p-민감도 k-음수성 모델은 정밀도를 유지하면서 프라이버시를 얼마나 잘 보존하는가?
• RQ3 익명화된 데이터를 사용한 격차 탐지 정밀도는 비익명화된 데이터와 비교해 어떻게 되는가?
• RQ4 이 시스템은 플랫폼 전체의 공정성 개선 조치 영향을 신뢰성 있게 평가할 수 있는가?

주요 결과

• 시뮬레이션 기반 검정력 분석을 통해 익명화되지 않은 데이터와 유사한 측정 정밀도를 달성함을 확인했다.
• p-민감도 k-음수성 모델은 사용자 ID와 인식된 인종 간의 1:1 매핑 관계를 보장하지 않음으로써 재식별을 효과적으로 방지했다.
• 높은 신뢰도로 인식된 인종 집단 간에 유의미한 차이가 있는 예약 성공률 격차를 탐지할 수 있었다.
• 이 프레임워크는 다른 디지털 플랫폼이 사용자 경험의 공정성을 감사하고 향상시키는 데 적용 가능한 확장성과 일반화 가능성을 지녔다.