[논문 리뷰] Debiasing Desire: Addressing Bias & Discrimination on Intimate Platforms

Jevan Hutson, Jessie G. Taft외 2명|arXiv (Cornell University)|2018. 09. 05.

Sexuality, Behavior, and Technology참고 문헌 64인용 수 10

한 줄 요약

이 논문은 애자미 플랫폼(예: 데이팅 및 만남 앱)을 사용자 자율성을 침해하지 않은 채로, 편견과 차별을 줄이기 위해 재설계할 수 있다고 제안한다. 사회정의와 큐어 HCI 이론적 시각에서 플랫폼 설계 특징을 분석한 저자들은 배제적 언어를 걸러내는 것과 알고리즘 매칭을 재고하는 등의 윤리적이고 투명한 간섭 조치를 지지하며, 이러한 변화가 사용자 주권을 존중하면서도 포용성을 높일 수 있음을 보여준다.

ABSTRACT

Designing technical systems to be resistant to bias and discrimination represents vital new terrain for researchers, policymakers, and the anti-discrimination project more broadly. We consider bias and discrimination in the context of popular online dating and hookup platforms in the United States, which we call intimate platforms. Drawing on work in social-justice-oriented and Queer HCI, we review design features of popular intimate platforms and their potential role in exacerbating or mitigating interpersonal bias. We argue that focusing on platform design can reveal opportunities to reshape troubling patterns of intimate contact without overriding users' decisional autonomy. We identify and address the difficult ethical questions that nevertheless come along with such intervention, while urging the social computing community to engage more deeply with issues of bias, discrimination, and exclusion in the study and design of intimate platforms.

연구 동기 및 목표

• 애자미 플랫폼의 플랫폼 설계가 개인 간 편견과 차별을 어떻게 증폭하거나 완화하는지 분석하기.
• 사용자 자율성을 침해하지 않으면서도 애자미 사용자 선호도에 간섭하는 데서 발생하는 윤리적 및 구조적 과제 탐색하기.
• 차별적인 행동을 줄이고 소수자 사용자의 안전과 포용성을 지원하는 설계 전략 식별하기.
• 사회계산 커뮤니티가 애자미 플랫폼을 체계적 편견과 차별을 다루기 위한 중요한 현장으로 간주하도록 촉구하기.
• 국가의 애자미 삶에 대한 역사를 기반으로 한 간섭의 해로움과 윤리적 플랫폼 수준의 설계 간섭이 가질 수 있는 잠재력을 균형 있게 조율하기.

제안 방법

• 사회정의 중심 및 큐어 HCI 이론적 시각에서 인기 있는 애자미 플랫폼(예: 티너, 그린드르)을 분석하기.
• 사용자 프로필, 필터, 검색 도구, 매칭 알고리즘 등의 플랫폼 설계 특징을 분석하여 편견을 조장하거나 도전하는 역할을 평가하기.
• 배제적 언어에 대한 키워드 기반 모니터링 및 알고리즘 매칭 재고를 포함한 설계 간섭 조치 제안하기. 이는 인종 및 정체성 기반의 차별을 줄이기 위함이다.
• 특히 인종, 성적 지향, 성별과 관련하여 사용자 표현을 제한할 경우 발생할 수 있는 윤리적 영향 평가하기.
• 사용자 기반의 자율성과 책임감을 높이기 위해 플랫폼 정책과 설계 선택의 투명성 확보하기.
• 역사적 사례(예: 혼혈 금지법)를 바탕으로 과도한 간섭을 경계하면서도, 체계적 편견에 대비해 타겟팅되고 윤리적인 설계 간섭을 정당화하기.

실험 결과

연구 질문

• RQ1 애자미 플랫폼의 설계 특징이 인종 및 정체성 기반의 차별을 어떻게 증폭하거나 완화하는가?
• RQ2 사용자 자율성을 침해하지 않으면서도 플랫폼 설계가 편향된 사용자 선호도에 어떻게 간섭할 수 있는가?
• RQ3 플랫폼이 애자미 사용자 선호도를 제한하거나 재구성할 경우 발생하는 윤리적 위험은 무엇이며, 이를 어떻게 책임감 있게 관리할 수 있는가?
• RQ4 국가가 애자미 관계에 대해 역사적으로 통제한 패턴이 현재의 플랫폼 설계 결정에 어떻게 영향을 미치는가?
• RQ5 어느 정체성 범주가 애자미 플랫폼에서 가장 배제 위험에 노출되어 있으며, 설계는 이를 어떻게 대응해야 하는가?

주요 결과

• 애자미 플랫폼은 인종 기반 필터나 검색 도구와 같은 기능을 통해 편견을 증폭시키며, 사용자가 '검은 사람 금지, 미안해'와 같은 배제적 선호를 표현할 수 있도록 한다.
• 명백한 차별적 프로필 언어(예: '백인 남자들만 대화하러 오는 것')는 소수자 사용자를 경시하고 이질감을 느끼게 하여 소속감을 떨어뜨린다.
• 키워드 기반 모니터링이나 프로필 콘텐츠 검토와 같은 설계 간섭 조치는 배제적 메시지의 노출도를 줄일 수 있으며, 이는 사용자 선호도를 완전히 변화시키지 않더라도 가능하다.
• 차별적 언어에 노출되는 것을 줄이면, 구조적 불평등이 유지되더라도 소수자 사용자의 플랫폼 이용 증가가 가능할 수 있다.
• 플랫폼 정책과 설계 선택의 투명성은 사용자가 플랫폼을 자신의 가치와 일치하는 것으로 선택할 수 있도록 하며, 조작을 방지하는 데 필수적이다.
• 역사적 국가 간섭 사례(예: 혼혈 금지법)는 경계가 필요하지만, 동시에 체계적 편견에 대비해 비강제적이지만 윤리적인 설계 간섭을 정당화한다.