[논문 리뷰] Fairness and Discrimination in Information Access Systems

Michael D. Ekstrand, Anubrata Das외 2명|arXiv (Cornell University)|2021. 05. 12.

Ethics and Social Impacts of AI참고 문헌 153인용 수 13

한 줄 요약

이 독립서적으로는 정보 접근 시스템(예: 추천 및 검색 시스템)의 공정성에 대한 종합적인 분류 체계를 제안하며, 순위 기반 상호작용, 개인화, 사용자 피드백으로 인해 발생하는 고유한 과제를 부각한다. 기존 문헌을 조사하고 핵심 공정성 차원을 규명하며, 이 분야의 미래 연구를 위한 열린 문제들을 제시한다.

ABSTRACT

Recommendation, information retrieval, and other information access systems pose unique challenges for investigating and applying the fairness and non-discrimination concepts that have been developed for studying other machine learning systems. While fair information access shares many commonalities with fair classification, the multistakeholder nature of information access applications, the rank-based problem setting, the centrality of personalization in many cases, and the role of user response complicate the problem of identifying precisely what types and operationalizations of fairness may be relevant, let alone measuring or promoting them. In this monograph, we present a taxonomy of the various dimensions of fair information access and survey the literature to date on this new and rapidly-growing topic. We preface this with brief introductions to information access and algorithmic fairness, to facilitate use of this work by scholars with experience in one (or neither) of these fields who wish to learn about their intersection. We conclude with several open problems in fair information access, along with some suggestions for how to approach research in this space.

연구 동기 및 목표

• 기존 기계학습 공정성의 맥락과는 상당히 다름 정보 접근 시스템 내 공정성에 대한 이해 부족을 메우기 위해.
• 순위 기반 검색, 개인화, 사용자 상호작용이 공정성 평가에 미치는 고유한 과제를 특정하고 분류하기 위해.
• 알고리즘 공정성 또는 정보 접근 분야에 익숙하지 않은 연구자들이 이 분야의 교차점 이해를 돕기 위한 기초 프레임워크 제공하기 위해.
• 추천 및 검색 시스템에서의 공정성에 관한 기존 연구를 조사하고, 일관된 공정성 차원 분류 체계에 따라 정리하기 위해.
• 정보 접근 시스템에서의 공정성을 향상시키기 위한 열린 문제들을 부각하고 연구 방향을 제안하기 위해.

제안 방법

• 정보 접근 시스템에 특화된 공정성 차원 분류 체계를 개발하며, 이해관계자 전반에 걸쳐 표현, 대응, 결과의 공정성 포함.
• 알고리즘 공정성과 정보 검색의 개념을 통합하여 순위 기반, 다수 이해관계자 존재하는 환경에 맞는 공정성 정의를 적응시킴.
• 사용자 행동과 피드백 루프가 공정성에 미치는 영향 분석, 특히 개인화 시스템에서의 영향에 중점을 둠.
• 기존 추천 및 검색 시스템의 공정성에 관한 문헌을 조사하고, 공정성 유형과 시스템 특성에 따라 연구 결과를 정리함.
• 순위와 사용자 참여에 따라 결과가 달라지는 시스템에서의 공정성 측정 방법론적 고려사항 제안.
• 공정성과 유틸리티 간의 트레이드오프, 이해관계자 다양성 모델링, 동적이고 상호작용적인 시스템을 위한 강력한 공정성 메트릭 개발 도전 과제 식별.

실험 결과

연구 질문

• RQ1 기존 기계학습 응용과 비교할 때 정보 접근 시스템에서의 공정성 과제는 어떻게 다를까?
• RQ2 순위 기반 검색, 개인화, 사용자 피드백이 공정성의 구현을 어떻게 복잡하게 만드는가?
• RQ3 표현, 대응, 결과의 공정성 등 다양한 공정성 차원 중에서 다수 이해관계자 존재하는 정보 접근 시스템에서 가장 관련성이 높은 것은 무엇인가?
• RQ4 사용자 참여와 순위가 핵심인 시스템에서 공정성은 어떻게 측정하고 증진시킬 수 있는가?
• RQ5 정보 접근 시스템에서의 공정성을 향상시키기 위한 핵심 열린 문제와 연구 방향은 무엇인가?

주요 결과

• 정보 접근 시스템 내 공정성은 순위 기반, 다수 이해관계자 존재, 상호작용적 성격으로 인해 공정한 분류에서 직접 이행될 수 없다.
• 개인화와 사용자 피드백은 불공정성을 증폭하거나 완화할 수 있는 피드백 루프를 유도하여 공정성 측정을 더욱 복잡하게 만든다.
• 분류 체계는 표현 공정성(낮은 표현 비율을 가진 집단에 대한)과 순위에서의 대응 공정성 등 고유한 공정성 차원을 식별하며, 이는 시스템 설계에 필수적이다.
• 정보 접근 시스템의 공정성에 관한 기존 문헌은 증가하고 있으나 여전히 산산이 흩어져 있으며, 정의와 평가 방법이 일관되지 않다.
• 주요 과제로는 공정성과 유틸리티의 균형, 이해관계자 다양성 모델링, 동적이고 상호작용적인 시스템을 위한 강력한 공정성 메트릭 개발이 포함된다.
• 논문은 표준화된 공정성 평가 프로토콜과 정보 접근 맥락에 맞는 윤리적 프레임워크 필요성 등 여러 열린 문제를 규명하였다.