[논문 리뷰] Balanced Ranking with Diversity Constraints

Ke Yang, Vasilis Gkatzelis외 1명|arXiv (Cornell University)|2019. 06. 04.

Game Theory and Voting Systems참고 문헌 22인용 수 9

한 줄 요약

이 논문은 다양성 제약 조건 하에서 집단 내 불공정성(set selection 및 랭킹 알고리즘에서의 불공정성)을 다루며, 역사를 거쳐 불리한 위치에 있었던 집단이 공정성 목표에도 불구하고 체계적으로 저조하게 표현될 수 있음을 다룹니다. 이는 정수선형계획모델(정수선형계획모델)을 제안하여 민감한 특성에 따라 집단 내 공정성을 균형 잡는 방법을 제시하며, 실험을 통해 유틸리티와 공정성 사이의 트레이드오프를 정량화하고 최소한의 성능 손실로 이를 완화할 수 있음을 보여줍니다.

ABSTRACT

Many set selection and ranking algorithms have recently been enhanced with diversity constraints that aim to explicitly increase representation of historically disadvantaged populations, or to improve the overall representativeness of the selected set. An unintended consequence of these constraints, however, is reduced in-group fairness: the selected candidates from a given group may not be the best ones, and this unfairness may not be well-balanced across groups. In this paper we study this phenomenon using datasets that comprise multiple sensitive attributes. We then introduce additional constraints, aimed at balancing the \in-group fairness across groups, and formalize the induced optimization problems as integer linear programs. Using these programs, we conduct an experimental evaluation with real datasets, and quantify the feasible trade-offs between balance and overall performance in the presence of diversity constraints.

연구 동기 및 목표

• 집단 선택에서 다양성 제약 조건의 뜻하지 않은 결과로 발생하는, 역사를 거쳐 불리한 위치에 있었던 집단의 집단 내 불공정성의 원인을 규명하고 정량화하는 것.
• 집단 내 공정성을 측정 가능한 지표로 정의하고, 다양한 민감한 특성 집단 간 손실을 균형 잡는 방법을 제안하는 것.
• 동시에 다양성 제약 조건을 충족시키고 집단 내 공정성을 균형 잡는 최적화 모델—특히 정수선형계획모델(정수선형계획모델)—을 개발하는 것.
• 다양한 데이터셋에서 유틸리티와 공정성 사이의 트레이드오프를 경험적으로 평가하여 균형 잡힌 결과의 실현 가능성을 입증하는 것.
• 그룹 간 점수 격차가 집단 내 불공정성에 미치는 영향을 탐색하고, 불균형한 피해를 완화하기 위한 전략을 제안하는 것.

제안 방법

• 각 민감한 특성 집단 내에서 선택된 후보의 질을 그 집단 내 최고 후보와 비교하여 집단 내 공정성을 수식화하는 것.
• 두 가지 공정성 지표를 도입: 모든 집단에서의 최소 집단 내 공정성과 렉심민 공정성 벡터를 통해 손실을 균형 잡는 것.
• 다양성 제약 조건과 공정성 균형 목표를 충족시키면서 총 유틸리티를 최대화하는 정수선형계획모델(정수선형계획모델)을 개발하는 것.
• 프리픽스 기반의 다양성 제약 조건을 처리할 수 있도록 ILP 프레임워크를 집합 선택 및 순위 목록 생성에 확장하는 것.
• 렉심민 해법을 통해 가장 불리한 집단의 공정성을 우선시하여 집단 내 질의 손실을 균형 잡는 것.
• 실세계 데이터셋을 대상으로 실험적 평가를 수행하여 다양한 제약 조건 구성에서 유틸리티와 공정성 사이의 트레이드오프를 정량화하는 것.

실험 결과

연구 질문

• RQ1 집합 선택에서 다양성 제약 조건이 역사를 거쳐 저조하게 표현된 집단에 대해 집단 내 불공정성을 비례적으로 증가시키는 정도는 어느 정도인가?
• RQ2 알고리즘적 선택에서 다수의 민감한 특성 집단 간에 집단 내 공정성을 어떻게 공식화하고 균형 잡을 수 있는가?
• RQ3 다양성 및 집단 내 공정성 제약 조건을 동시에 적용할 경우 유틸리티와 공정성 사이의 트레이드오프는 어떠한가?
• RQ4 그룹 간 점수 격차가 제약 조건이 있는 선택에서 집단 내 불공정성 정도에 어떤 영향을 미치는가?
• RQ5 정수선형계획모델(정수선형계획모델)이 실세계 데이터셋에서 유틸리티를 유지하면서도 그룹 간 공정성을 효과적으로 균형 잡을 수 있는가?

주요 결과

• 논문은 다양성 제약 조건이 심각한 집단 내 불공정성을 초래할 수 있음을 입증하며, 특히 불리한 위치에 있었던 집단의 낮은 점수를 받은 구성원이 높은 점수를 받은 구성원보다 우선 선택되는 상황이 발생할 수 있음을 보여줍니다.
• 12명의 후보가 있는 실세계 사례에서, 다양성 제약 조건 하에서 유틸리티를 최대화하는 해법은 상위 두 남성(A, B)만 선택했고, 상위 두 여성(C, D)은 배제되었습니다. 이는 그들이 더 높은 점수를 받았음에도 불구하고입니다.
• 다른 해법은 유틸리티를 거의 그대로 유지(372 vs. 373)하면서도 모든 집단의 상위 후보(A, C, E, K)를 포함하고 있어, 공정성을 크게 향상시킬 수 있으며 이는 유틸리티 손실이 최소한임을 보여줍니다.
• 저자들은 그룹 간 점수 격차가 클수록 집단 내 불공정성의 불균형도가 높아지며, 이는 불리한 집단에 대한 구조적 위험을 시사합니다.
• 정수선형계획모델(정수선형계획모델) 기반 접근법은 그룹 간 집단 내 공정성을 성공적으로 균형 잡으며, 실험 결과 공정성을 향상시킬 수 있지만 전체 유틸리티 손실은 거의 없음을 보여줍니다.
• NP-난이도 최적화 문제임에도 불구하고 정확한 해법을 정수선형계획모델(정수선형계획모델)로 도출할 수 있으며, 실세계 환경에서 불공정성을 정량화하고 완화할 수 있음을 확인합니다.