[논문 리뷰] Algorithms are not neutral: Bias in collaborative filtering

Catherine Stinson|arXiv (Cornell University)|2021. 05. 03.

Mobile Crowdsensing and Crowdsourcing참고 문헌 16인용 수 8

한 줄 요약

이 논문은 협업 필터링 알고리즘은 비편향된 데이터와 개발자 조차도, 인기 및 동질화 효과를 통해 본질적으로 편향을 유도한다는 것을 입증한다. 알고리즘 설계 자체—특히 사용자 피드백으로부터 반복 학습하는 방식—이 선택 편향을 만들어내며, 소수자 그룹을 간접적으로 배제시킨다는 점을 주장한다. 이는 추천 시스템에서 알고리즘 중립성의 신화를 도전한다.

ABSTRACT

Discussions of algorithmic bias tend to focus on examples where either the data or the people building the algorithms are biased. This gives the impression that clean data and good intentions could eliminate bias. The neutrality of the algorithms themselves is defended by prominent Artificial Intelligence researchers. However, algorithms are not neutral. In addition to biased data and biased algorithm makers, AI algorithms themselves can be biased. This is illustrated with the example of collaborative filtering, which is known to suffer from popularity, and homogenizing biases. Iterative information filtering algorithms in general create a selection bias in the course of learning from user responses to documents that the algorithm recommended. These are not merely biases in the statistical sense; these statistical biases can cause discriminatory outcomes. Data points on the margins of distributions of human data tend to correspond to marginalized people. Popularity and homogenizing biases have the effect of further marginalizing the already marginal. This source of bias warrants serious attention given the ubiquity of algorithmic decision-making.

연구 동기 및 목표

• 알고리즘이 중립적이라는 널리 퍼진 믿음을 도전하기 위해, 특히 협업 필터링 시스템에서 그러한 믿음이 왜 잘못되었는지 분석한다.
• 데이터나 개발자 의도와는 무관하게 알고리즘 메커니즘이 스스로 편향을 유발하는 방식을 특정하고 분석한다.
• 반복적 학습이 추천 시스템에서 선택 편향을 어떻게 증폭시키는지 보여주며, 이를 통해 소외된 집단에 비례적으로 영향을 미친다.
• 협업 필터링에서 인기와 동질화와 같은 통계적 편향이 어떻게 차별적 결과를 낳는지 설명한다.
• 인공지능 시스템에서 체계적 편향의 원인이 되는 알고리즘 설계에 대한 더 큰 경각심을 불러일으킨다.

제안 방법

• 반복적 정보 필터링 알고리즘의 대표적 사례로 협업 필터링을 분석한다.
• 사용자 상호작용이 인기 있는 항목을 강화하는 피드백 루프를 분석하여, 자기 강화적 인기 편향을 이끌어낸다.
• 반복적인 필터링이 다양성을 감소시키고 추천의 동질화를 촉진하는 방식을 조사한다.
• 이론적이고 개념적인 분석을 통해 알고리즘 학습 과정의 통계적 편향이 차별적 결과를 낳는다는 점을 보여준다.
• 사회학적 및 비판 이론적 시각을 활용하여 알고리즘 편향을 사소한 현상이 아닌 체계적 요소로 프레임한다.
• 사용자 반응에서 학습하는 메커니즘이 명시적인 데이터나 설계 편향이 없더라도 본질적으로 선택 편향을 내재한다는 주장을 펼친다.

실험 결과

연구 질문

• RQ1 협업 필터링 알고리즘이 데이터나 개발자 편향을 초월해 어떻게 편향을 유도하는가?
• RQ2 반복적 학습 과정이 추천 시스템에서 선택 편향을 어떻게 증폭시키는가?
• RQ3 왜 협업 필터링에서의 인기 및 동질화 편향이 소수자 집단을 소외시키는가?
• RQ4 중립적인 데이터와 의도가 있음에도 불구하고 알고리즘 설계 자체가 체계적 차별의 원인이 될 수 있는가?
• RQ5 알고리즘 편향의 구조적 영향은 자동화된 의사결정에서 공정성과 형평성에 어떤 영향을 미치는가?

주요 결과

• 협업 필터링 알고리즘은 비편향된 데이터가 있더라도 반복적 학습 과정을 통해 본질적으로 선택 편향을 생성한다.
• 협업 필터링에서의 인기 편향은 널리 좋아하는 항목을 체계적으로 우선시하여, 덜 인기 있지만 잠재적으로 관련성이 높은 콘텐츠를 가장자리로 밀어낸다.
• 동질화 편향은 추천의 다양성을 감소시키며 주류 선호를 강화하고, 소수자 목소리를 더욱 소외시킨다.
• 알고리즘 학습 과정의 통계적 편향은 실제 세계에서의 차별적 결과를 낳으며, 특히 인간 데이터 분포의 가장자리에 있는 사람들에게 특히 심각한 영향을 미친다.
• 이 논문은 알고리즘 설계 자체가 편향을 내재하고 있다는 점을 입증함으로써 알고리즘 중립성의 개념을 도전한다.
• 연구 결과는 알고리즘 설계를 인공지능 시스템에서 공정성과 형평성 문제를 해결하기 위한 핵심적 분야로 보는 것이 필요하다는 점을 강조한다.