[논문 리뷰] Equity of Attention: Amortizing Individual Fairness in Rankings

Asia J. Biega, Krishna P. Gummadi외 1명|arXiv (Cornell University)|2018. 05. 04.

Ethics and Social Impacts of AI참고 문헌 35인용 수 27

한 줄 요약

이 논문은 다수의 순위를 거쳐 공정성을 분산시키는 온라인 최적화 프레임워크를 통해 순위가 매겨진 대상이 받는 주목도가 그들의 관련성에 비례하도록 보장하는 공정성 개념인 '주의의 공정성'을 도입한다. 문제를 정수선형계획문제로 수립하여 실제 데이터셋에서 개인의 공정성을 크게 향상시키면서도 순위 품질을 희생시키지 않는 결과를 보였다.

ABSTRACT

Rankings of people and items are at the heart of selection-making, match-making, and recommender systems, ranging from employment sites to sharing economy platforms. As ranking positions influence the amount of attention the ranked subjects receive, biases in rankings can lead to unfair distribution of opportunities and resources, such as jobs or income. This paper proposes new measures and mechanisms to quantify and mitigate unfairness from a bias inherent to all rankings, namely, the position bias, which leads to disproportionately less attention being paid to low-ranked subjects. Our approach differs from recent fair ranking approaches in two important ways. First, existing works measure unfairness at the level of subject groups while our measures capture unfairness at the level of individual subjects, and as such subsume group unfairness. Second, as no single ranking can achieve individual attention fairness, we propose a novel mechanism that achieves amortized fairness, where attention accumulated across a series of rankings is proportional to accumulated relevance. We formulate the challenge of achieving amortized individual fairness subject to constraints on ranking quality as an online optimization problem and show that it can be solved as an integer linear program. Our experimental evaluation reveals that unfair attention distribution in rankings can be substantial, and demonstrates that our method can improve individual fairness while retaining high ranking quality.

연구 동기 및 목표

• 순위에서의 위치 편향 문제를 해결하기 위해, 하위 순위에 있는 대상이 비례적으로 더 적은 주목도를 받는 것을 방지한다.
• 그룹 수준의 공정성보다 개인을 중심으로 한 공정성 측정법을 제안한다. 이는 그룹 수준의 공정성을 포함한다.
• 단일 순위가 아니라 여러 순위에 걸쳐 시간이 지남에 따라 공정성을 달성하는 메커니즘을 개발한다.
• 특히 일자리 또는 공유 경제 플랫폼과 같이 생계에 영향을 주는 플랫폼에서 순위 품질을 유지하면서 공정성을 향상시킨다.
• 공정성과 순위 품질 사이의 상충 관계를 온라인 최적화 문제로 수식화한다.

제안 방법

• 각 대상이 받는 주목도가 그의 관련성에 비례하도록 요구하는 공정성 지표인 '공정성' 기반의 새로운 공정성 지표를 도입한다.
• 공정성은 한 번의 순위에서가 아니라 여러 순위에 걸쳐 시간이 지남에 따라 달성되는 '분산 공정성'을 제안한다.
• 제약 조건 하에서 공정성과 순위 품질의 균형을 이루기 위해 문제를 온라인 정수선형계획문제로 모델링한다.
• 관련성 점수를 공정한 주목도의 대리 지표로 사용하며, 관련성과 가치성 간의 비례 관계를 가정한다.
• 순서 간 재순서 조정을 통해 주목도 분포를 균형 잡는 재순서 메커니즘을 적용한다.
• 고품질 순위를 우선시하면서도 공정성을 확보하는 제약 최적화 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 그룹 수준이 아닌 개인 수준에서 순위의 공정성을 어떻게 측정할 수 있는가?
• RQ2 위치 편향이 하위 순위 아이템에 본질적으로 불리하게 작용하는 상황에서 순위의 공정성을 달성할 수 있는가?
• RQ3 동적 환경에서 개인의 공정성과 순위 품질을 균형 잡는 데 적합한 최적화 프레임워크는 무엇인가?
• RQ4 다수의 순위에 걸쳐 분산 공정성을 적용할 경우, 정적 순위에 비해 주목도 불평등을 얼마나 줄일 수 있는가?
• RQ5 순위 품질이 크게 떨어지지 않도록 공정성을 얼마나 향상시킬 수 있는가?

주요 결과

• 실제 순위에서 주목도 분포는 관련성에 비해 하위 순위 대상이 훨씬 적은 주목도를 받는 등 상당히 불공평한 편이다.
• 제안된 방법은 표준 정보검색 메트릭으로 측정했을 때 높은 순위 품질을 유지하면서도 개인의 공정성을 크게 향상시켰다.
• 순서 간 재순서를 통한 분산 공정성은 주목도를 관련성과 균형 있게 맞추어 장기적인 노출 격차를 줄이는 데 효과적이다.
• 관련성 점수가 대상 간 동일한 경우에도 이 방법은 공정한 주목도 분포를 보장한다.
• 최적화 프레임워크는 공정성과 품질 사이의 트레이드오프를 성공적으로 처리하여 실제 데이터셋에서 실용 가능성을 입증했다.
• 결과적으로 공정성 향상은 순위 성능의 심각한 악화 없이 가능함을 보여주며, 실질적인 플랫폼에의 도입 가능성을 뒷받침한다.