[논문 리뷰] A Framework for Fairness in Two-Sided Marketplaces

Kinjal Basu, Cyrus DiCiccio외 2명|arXiv (Cornell University)|2020. 06. 23.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 5

한 줄 요약

이 논문은 여러 세션에 걸쳐 소스(질의자) 및 목적지(추천 대상) 멤버 모두에 대해 기여도 기반의 공정성 제약 조건을 적용하여 이원 시장 추천 시스템에서의 공정성을 보장하기 위한 확장 가능한 엔드 투 엔드 최적화 프레임워크를 제안한다. 기존 연구를 확장하여 이중 기반 온라인 재순서 방법을 도입함으로써 다중 세션 공정성을 실현하였으며, 복잡한 시간적 제약 조건이 존재하더라도 선형 복잡도를 유지하면서 공정성을 크게 향상시키면서 소스 측의 유틸리티를 손상시키지 않는다.

ABSTRACT

Many interesting problems in the Internet industry can be framed as a two-sided marketplace problem. Examples include search applications and recommender systems showing people, jobs, movies, products, restaurants, etc. Incorporating fairness while building such systems is crucial and can have a deep social and economic impact (applications include job recommendations, recruiters searching for candidates, etc.). In this paper, we propose a definition and develop an end-to-end framework for achieving fairness while building such machine learning systems at scale. We extend prior work to develop an optimization framework that can tackle fairness constraints from both the source and destination sides of the marketplace, as well as dynamic aspects of the problem. The framework is flexible enough to adapt to different definitions of fairness and can be implemented in very large-scale settings. We perform simulations to show the efficacy of our approach.

연구 동기 및 목표

• 구직, 친구 추천 및 콘텐츠 추천 시스템과 같은 분야에서 사용자가 요청자(소스)와 후보자(목적지)의 이중 역할을 하는 이원 시장에서의 공정성을 해결하기 위해.
• 다중 세션 동안의 멤버 유틸리티를 기반으로 공정성을 정의함으로써, 기존의 단일 세션 공정성 정의를 동적이고 장기적인 상호작용으로 확장하기 위해.
• 기본 모델 아키텍처에 대한 지능적 의존 없이도 소스 및 목적지 양측에 대한 공정성 제약 조건을 강제할 수 있는 사후 처리 재순서기(postprocessing re-ranker)를 개발하기 위해.
• 시간에 따라 변화하는 유틸리티 집계 및 동적 제약 조건 업데이트를 통해 장기적으로도 공정성이 유지되도록 하여, 특히 불리한 대상 그룹에 대한 공정성을 확보하기 위해.
• 이론적으로 탄탄하고 실용적인 솔루션을 제공함으로써 대규모 프로덕션 시스템에 쉽게 구현 가능하며, 시스템 성능에 거의 영향을 주지 않도록 하기 위해.

제안 방법

• 소스 및 목적지 멤버 양측에 대해 유틸리티 기반 메트릭을 사용하여 공정성을 정의하며, 유틸리티는 시간에 따른 노출 또는 표현 정도로 정의된다.
• Singh 및 Joachims (2018)의 단일 세션 공정성 프레임워크를 다중 세션 공정성으로 확장하기 위해 다수의 질의 및 상호작용에 걸친 유틸리티를 집계한다.
• 소스 및 목적지 양측에 대한 공정성 제약 조건을 포함한 선형 최적화 공식을 개발하며, 복잡한 시간 제약 조건이 존재하더라도 선형성을 유지한다.
• 이중 기반 온라인 알고리즘을 활용하여 실시간 재순서를 가능하게 하여, 재학습 없이도 공정성 제약 조건을 동적으로 업데이트할 수 있도록 한다.
• 모델이 생성한 관련성 점수를 유지하면서도 공정성 제약 조건을 만족시키기 위해 최종 순서를 수정하는 사후 처리 재순서기를 사용한다.
• 라그랑주 릴랙세이션과 이중 분해를 적용하여 대규모 고속도 추천 시스템에 적합한 확장 가능한 솔루션을 도출한다.

실험 결과

연구 질문

• RQ1 사용자가 요청자와 후보자라는 이중 역할을 수행하는 이원 시장에서 공정성은 어떻게 의미 있게 정의할 수 있는가?
• RQ2 각 질의나 세션 단위가 아닌 다중 세션에 걸쳐 공정성을 강제할 경우 어떤 영향을 미치는가?
• RQ3 확장 가능하고 온라인 기반의 재순서 프레임워크는 관련성 또는 성능을 저하시키지 않으면서도 소스 및 목적지 그룹 양측에 대한 공정성을 유지할 수 있는가?
• RQ4 공정성 제약 조건의 동적 업데이트가 대규모 시스템에서 유틸리티 균형과 시스템 효율성에 어떤 영향을 미치는가?
• RQ5 기본 모델 아키텍처를 수정하지 않고도 사후 처리 접근 방식이 얼마나 높은 수준의 공정성을 달성할 수 있는가?

주요 결과

• 제안된 이중 기반 재순서기로 인해 목적지 측 유틸리티 균형이 크게 향상되었으며, m=20 및 t=20일 때, 재순서 없이 사용할 경우의 이질성(0.1964)이 이중 동적 재순서(dualWithDynamic)를 사용할 경우 0.1090으로 감소하였다.
• 소스 측 유틸리티는 다양한 방법 간에 거의 일정하게 유지되었으며, 0.5166에서 0.5860의 범위를 보이며 요청자 경험에 대한 부정적 영향이 최소화됨을 시사한다.
• 표시할 슬롯 수(m)를 늘릴수록 사전에 공정성 만족도가 향상됨을 확인할 수 있었으며, m=20일 때는 원시 및 이중 방법 모두에서 m=10일 때보다 이질성이 낮게 나타났다.
• 이중 파rameter의 빈도 높은 갱신은 목적지 유틸리티를 목표 공정성에 더 가깝게 만들지만, 이는 계산 부담 증가를 수반한다.
• 이 프레임워크는 세션 간 공정성을 성공적으로 유지하였으며, 시간에 따른 유틸리티 집계를 통해 장기적인 노출 불균형을 완화할 수 있음을 입증하였다.
• 시뮬레이션 결과, 재순서가 없이 그대로 두면 특히 불리한 대상 그룹에서 심각한 유틸리티 이질성이 발생함을 확인하였으며, 이는 제안된 공정성 메커니즘이 반드시 필요하다는 것을 검증한다.