[논문 리뷰] Fair and Diverse DPP-based Data Summarization

L. Elisa Celis, Vijay Keswani외 4명|arXiv (Cornell University)|2018. 02. 12.

Topic Modeling인용 수 28

한 줄 요약

이 논문은 민감한 속성에 대한 공정성 제약 조건을 갖는 결정성 점진적 과정(DPPs)을 사용하여 데이터셋에서 다양하고 공정한 부분집합을 샘플링하기 위한 빠르고 증명 가능하게 정확한 알고리즘을 제안한다. 이는 높은 다양성을 유지하면서 비례적 또는 동일한 표현을 보장하는 분할 DPP 프레임워크를 도입하며, 자연스러운 $\beta$-균형 조건 하에서 이론적 보장과 함께 실증적 검증을 통해 공정성 제약 조건 하에서도 다양성 손실가 최소화됨을 보여준다.

ABSTRACT

Sampling methods that choose a subset of the data proportional to its diversity in the feature space are popular for data summarization. However, recent studies have noted the occurrence of bias (under- or over-representation of a certain gender or race) in such data summarization methods. In this paper we initiate a study of the problem of outputting a diverse and fair summary of a given dataset. We work with a well-studied determinantal measure of diversity and corresponding distributions (DPPs) and present a framework that allows us to incorporate a general class of fairness constraints into such distributions. Coming up with efficient algorithms to sample from these constrained determinantal distributions, however, suffers from a complexity barrier and we present a fast sampler that is provably good when the input vectors satisfy a natural property. Our experimental results on a real-world and an image dataset show that the diversity of the samples produced by adding fairness constraints is not too far from the unconstrained case, and we also provide a theoretical explanation of it.

연구 동기 및 목표

• 다양한 부분집합이 성별이나 인종과 같은 민감한 속성에 대해 과소 또는 과잉으로 표현되는 DPP 기반 데이터 요약에서의 공정성 부족 문제를 해결하기 위해.
• 비례적 또는 동일한 표현과 같은 일반적인 공정성 제약 조건을 DPP에 통합하면서 다양성을 유지하는 프레임워크를 개발하기 위해.
• 일반적으로 비가역적인 분할 DPP에 대해 자연스러운 데이터 조건($\beta$-균형) 하에서 효율적인 샘플링 알고리즘을 설계하기 위해.
• 공정성과 다양성 사이의 상호작용을 이론적으로와 실증적으로 분석하여, 제약 조건이 부여된 분포와 부여되지 않은 분포 간의 KL-발산을 통해 '공정성의 가격'을 정량화하기 위해.

제안 방법

• 민감한 속성 그룹에서 추출된 샘플 수에 대한 제약 조건으로 공정성을 수식화하여, 문제를 분할 DPP에서의 샘플링으로 모델링한다.
• 데이터 행렬에서 어떤 그룹도 너무 작거나 불균형하지 않도록 보장하는 $\beta$-균형 조건 하에서, 진짜 분할 DPP 분포를 근사하는 선형 시간 샘플링 알고리즘을 도입한다.
• 이미 선택된 벡터에 대한 수직 투영 후 잔차 노름이 최대가 되는 벡터를 선택함으로써 다양성을 유지하는 그레디언트 기반 투영 기반 샘플링 전략을 사용한다.
• 샘플링 중에 DPP 확률 점수를 효율적으로 계산하고 유지하기 위해 재귀적 행렬식 분해 기법을 적용한다.
• Gram 행렬의 특성다항식을 사용하여 주어진 크기의 부분집합에 대한 총 다양성 점수와 주된 소수의 합을 연결한다.
• 데이터가 $\beta$-균형 조건을 만족하는 한, 알고리즘이 비영인 행렬식을 갖는 유효한 샘플(즉, 선형 독립인 벡터들)을 출력함을 증명한다.

실험 결과

연구 질문

• RQ1 DPP 기반 샘플링 방법을 민감한 속성의 공정한 표현을 보장하면서 다양성 손실 없이 조정할 수 있는가?
• RQ2 공정성 제약 조건이 있는 DPP에서의 샘플링 복잡도는 얼마이며, 효율적으로 근사할 수 있는가?
• RQ3 공정성 제약 조건이 적용될 경우 출력 부분집합의 다양성은 얼마나 떨어지며, 이 손실는 이론적으로 경계될 수 있는가?
• RQ4 어떤 데이터 조건에서 제안된 알고리즘이 강력한 근사 보장을 유지하는가?
• RQ5 제약 조건이 있는 분포와 없는 분포 간의 KL-발산으로 측정된 '공정성의 가격'은 얼마인가?

주요 결과

• 제안된 알고리즘은 데이터 행렬이 $\beta$-균형 조건을 만족할 경우 선형 시간 내에 작동하며, 공정성 제약 조건이 있는 DPP 분포에서 증명 가능하게 좋은 샘플을 제공한다.
• 임의의 데이터 행렬은 높은 확률로 $\beta$-균형 조건을 만족함이 입증되었으며, 이는 방법의 광범위한 적용 가능성을 뜻한다.
• 공정성의 가격—제약 조건이 있는 분포와 없는 분포 간의 KL-발산으로 측정—은 이론적으로 경계되며, 합리적인 데이터 가정 하에서는 낮게 유지된다.
• Adult 데이터셋과 정제된 이미지 데이터셋에 대한 실증 결과는, 입력 데이터가 매우 편향되어 있더라도 공정성 제약 조건이 적용되어도 다양성 손실가 최소화됨을 보여준다.
• 원하는 민감한 속성의 비율이 입력 분포와 크게 다를 경우에도 알고리즘은 높은 다양성을 유지한다.
• 이론적 및 실증적 결과를 종합적으로 분석한 결과, DPP 기반 요약에서 공정성과 다양성은 본질적으로 충돌하지 않음을 입증한다.