[논문 리뷰] Exploring User Opinions of Fairness in Recommender Systems

Jessie J. Smith, Nasim Sonboli외 2명|arXiv (Cornell University)|2020. 03. 13.

Ethics and Social Impacts of AI참고 문헌 8인용 수 5

한 줄 요약

이 연구는 소비자가 다중 이해관계자 추천 시스템에서 공정성에 대해 어떻게 인식하는지에 대해 사용자 중심적 접근을 통해 조사하며, 특히 주거, 일자리, 대출과 같은 고위험 분야에서 잠재적 피해가 드러날 경우 사용자들이 제공자 공정성—특히 그 중요성을 강조함을 드러낸다. 주요 기여는 개인화와 공정성 간의 사용자 기반 트레이드오프를 규명하며, 신뢰와 공정성을 확보하기 위해 투명성과 편향 인식 설계를 강조한다.

ABSTRACT

Algorithmic fairness for artificial intelligence has become increasingly relevant as these systems become more pervasive in society. One realm of AI, recommender systems, presents unique challenges for fairness due to trade offs between optimizing accuracy for users and fairness to providers. But what is fair in the context of recommendation--particularly when there are multiple stakeholders? In an initial exploration of this problem, we ask users what their ideas of fair treatment in recommendation might be, and why. We analyze what might cause discrepancies or changes between user's opinions towards fairness to eventually help inform the design of fairer and more transparent recommendation algorithms.

연구 동기 및 목표

• 소비자가 다중 이해관계자 환경(소비자 및 제공자 모두 포함)에서 추천 시스템의 공정성을 어떻게 정의하는지 이해하는 것.
• 추천의 인지된 결과가 개인화와 공정성 간의 트레이드오프를 수용할 의사에 영향을 주는 방식을 조사하는 것.
• 투명성과 설명이 추천 시스템에서 공정한 대우에 대한 사용자의 인식을 어떻게 형성하는지 조사하는 것.
• 사용자의 개인적 편향과 이해관계자 관점이 알고리즘 추천의 공정성에 대한 견해에 어떻게 영향을 미치는지 분석하는 것.
• 사용자의 가치와 기대에 기반한 공정하고 투명한 추천 시스템 설계를 위한 지침을 제공하는 것.

제안 방법

• 주로 대학생인 30명의 참가자와 깊이 있는 반구조화된 인터뷰를 실시하여 넷플릭스, 아마존, 키바와 같은 익숙한 추천 시스템에서의 공정성에 대한 사용자의 견해를 탐구함.
• 사용자 응답에서 반복되는 패턴과 주제(공정성, 편향, 투명성, 트레이드오프 등)를 식별하기 위해 주제 분석을 사용함.
• 주거, 일자리, 대출 플랫폼 등 고위험 응용 분야의 맥락에서 사용자 응답을 분석하여, 인지된 위험이 공정성 선호에 어떻게 영향을 미치는지 평가함.
• 설명과 투명성이 추천이 제공자 다양성을 위해 조정되었을 때 사용자의 신뢰와 공정성 인식에 어떻게 영향을 미치는지 탐색함.
• 사용자의 개인적 배경과 경험(예: 이트시에서 판매자로 활동)이 공정성 선호와 편향 인식에 어떻게 영향을 미치는지 분석함.
• 공정성이 기본 설정이 되어야 하는지, 그리고 설명이 조작을 방지하기 위해 어떻게 설계되어야 하는지에 대한 사용자 반성과 분석을 수거 및 분석함.

실험 결과

연구 질문

• RQ1 사용자들은 소비자와 제공자 모두가 포함된 다중 이해관계자 환경에서 추천 시스템의 공정성을 어떻게 정의하는가?
• RQ2 주거, 일자리, 대출과 같은 분야에서 추천의 인지된 결과가 개인화와 제공자 공정성 간의 선호에 어떻게 영향을 주는가?
• RQ3 사용자의 개인적 편향과 경험은 알고리즘 추천의 공정성에 대한 견해에 얼마나 영향을 미치는가?
• RQ4 설명과 투명성은 사용자의 공정성 인식과 추천 시스템에 대한 신뢰에 어떻게 영향을 미치는가?
• RQ5 공정성으로 기본 설정하는 것이 사용자가 자신의 편향을 인식하고 추천 소비 과정에서 이를 극복하는 데 어떤 역할을 하는가?

주요 결과

• 주거, 일자리, 금융 대출과 같은 고위험 분야에서 추천의 결과가 심각한 영향을 미칠 경우, 사용자들은 제공자 공정성을 높이기 위해 일부 개인화를 희생할 의향이 있음.
• 참가자들은 편향된 추천이 체계적 불평등이나 피해를 초래할 수 있는 Zillow나 Indeed.com 같은 시스템에서 공정성이 핵심 목표여야 한다고 주장함.
• 개인적 배경과 경험(예: 이트시에서 판매자로 활동)은 사용자의 제공자에 대한 공감과 개인화보다 공정성 선호에 상당한 영향을 미침.
• 많은 사용자들이 결정을 조작하는 것처럼 보이는 설명에 불편함을 느끼며, 잘못 설계된 설명이 암묵적으로 편향을 강화하거나 사용자를 특정 선택으로 유도할 수 있다고 경고함.
• 사용자들은 개인화에서 벗어난 추천이 왜 이루어졌는지 설명하는 투명성을 선호하지만, 행동을 유도하거나 변화시키기 위한 설계된 설명은 거부함.
• 공정성을 기본 설정으로 삼고, 사용자가 이를 해제할 수 있도록 하는 것이, 사용자가 추천 소비 과정에서 자신의 암묵적 편향을 인식하고 이해하는 데 도움이 된다는 강력한 지지가 있음.