[논문 리뷰] Improved Approximation and Scalability for Fair Max-Min Diversification

Raghavendra Addanki, Andrew McGregor외 2명|arXiv (Cornell University)|2022. 01. 01.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 거리공간과 유클리드 공간에서 공정한 Max-Min 다양성 문제에 대해 향상된 근사 알고리즘을 제안하며, 일반적인 거리공간에서는 2-근사, 유클리드 공간에서는 near-optimal 공정성과 함께 (1+ϵ)-근사 성능을 달성한다. 랜덤화된 라운딩, 코어셋 구성, 스트리밍/분산 알고리즘을 도입하여 이전의 3m−1 근사 성능을 크게 향상시키며, 대규모 데이터셋의 스케일러블 처리를 가능하게 한다.

ABSTRACT

Given an $n$-point metric space $(\mathcal{X},d)$ where each point belongs to one of $m=O(1)$ different categories or groups and a set of integers $k_1, \ldots, k_m$, the fair Max-Min diversification problem is to select $k_i$ points belonging to category $i\in [m]$, such that the minimum pairwise distance between selected points is maximized. The problem was introduced by Moumoulidou et al. [ICDT 2021] and is motivated by the need to down-sample large data sets in various applications so that the derived sample achieves a balance over diversity, i.e., the minimum distance between a pair of selected points, and fairness, i.e., ensuring enough points of each category are included. We prove the following results: 1. We first consider general metric spaces. We present a randomized polynomial time algorithm that returns a factor $2$-approximation to the diversity but only satisfies the fairness constraints in expectation. Building upon this result, we present a $6$-approximation that is guaranteed to satisfy the fairness constraints up to a factor $1-ε$ for any constant $ε$. We also present a linear time algorithm returning an $m+1$ approximation with exact fairness. The best previous result was a $3m-1$ approximation. 2. We then focus on Euclidean metrics. We first show that the problem can be solved exactly in one dimension. For constant dimensions, categories and any constant $ε>0$, we present a $1+ε$ approximation algorithm that runs in $O(nk) + 2^{O(k)}$ time where $k=k_1+\ldots+k_m$. We can improve the running time to $O(nk)+ poly(k)$ at the expense of only picking $(1-ε) k_i$ points from category $i\in [m]$. Finally, we present algorithms suitable to processing massive data sets including single-pass data stream algorithms and composable coresets for the distributed processing.

연구 동기 및 목표

• 다양한 카테고리가 포함된 대규모 데이터셋에서 균형 잡힌 다각적 샘플링의 필요성 해결.
• 이전의 3m−1 기준을 초월해 공정한 Max-Min 다양성 문제의 근사 요인 향상.
• 스트리밍 및 분산 알고리즘을 통해 대규모 데이터셋에 대한 확장성 확보.
• 상수 차원 유클리드 공간에서 near-optimal 근사(1+ϵ) 달성 및 이중 차원 수축 차원이 유한한 경우.
• 분산 처리 상황에서도 공정성과 근사 보장을 유지하는 구성 가능한 코어셋 및 데이터 스트림 알고리즘 구축.

제안 방법

• 일반적인 거리공간에서 공정성을 기대값 기반으로 달성하기 위해 선형계획법의 랜덤화 라운딩 기법을 사용하여 2-근사 달성.
• 약간의 조건 하에 (1−ϵ)ki 공정성을 고려한 6-근사 알고리즘 도입.
• 정확한 공정성을 확보하는 선형 시간 m+1-근사 알고리즘 제안으로 이전의 3m−1 결과를 크게 향상.
• 기하적 클러스터링과 격자 분해 기반의 새로운 유클리드 거리공간 코어셋 구성 방법 개발.
• 코어셋에 기반한 동적 프로그래밍을 활용한 상수 차원 유클리드 공간에서의 1+ϵ-근사 알고리즘 설계.
• 임계값 기반 그레디 선택(τ-GMM)과 코어셋 재사용을 활용한 구성 가능한 코어셋 및 단일 패assing 데이터 스트림 알고리즘 구축.

실험 결과

연구 질문

• RQ1 일반적인 거리공간에서 공정한 Max-Min 다양성 문제에 대해 3m−1 이하의 근사 요인을 달성할 수 있는가?
• RQ2 이중 차원 수축 차원이 유한한 유클리드 공간에서 near-정확한 공정성과 효율적인 실행 시간을 동시에 확보할 수 있는가?
• RQ3 단일 패assing 처리 및 분산 계산을 지원하는 대규모 데이터셋을 위한 확장 가능한 알고리즘을 설계할 수 있는가?
• RQ4 공정성 완화와 근사 품질 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 분산 처리 상황에서도 공정성과 근사 보장을 유지하는 구성 가능한 코어셋을 구축할 수 있는가?

주요 결과

• 일반적인 거리공간에서 공정성이 기대값 기반으로 확보되는 2-근사 알고리즘 제안으로 이전의 3m−1 기준을 개선.
• ki = Ω(ϵ−2 log m) 조건 하에 각 그룹 i에 대해 (1−ϵ)ki 공정성을 확보하는 6-근사 달성.
• 정확한 공정성을 확보하는 선형 시간 m+1-근사 알고리즘 제안으로 이전의 3m−1 결과를 크게 향상.
• 상수 차원 유클리드 공간에서 O(nk) + 2O(k) 시간 내에 (1+ϵ)-근사 달성; (1−ϵ)ki 공정성을 약간 포기함으로써 O(nk) + poly(k) 개선된 변형 제공.
• 이중 차원 수축 차원 λ를 갖는 유클리드 거리공간에 대해 크기 O((8/ϵ)λkmL)인 (1+ϵ)-구성 가능한 코어셋 구축으로 분산 처리 가능.
• 일반적인 거리공간에서 O(ϵ−1km log n) 공간, 유클리드 공간에서 O((8/ϵ)λkmϵ−1 log n) 공간을 사용하는 단일 패assing 데이터 스트림 알고리즘 설계로 각각 30(1+ϵ)- 및 (1+ϵ)-근사 달성.