[논문 리뷰] How to be Fair and Diverse?

L. Elisa Celis, Amit Deshpande외 2명|arXiv (Cornell University)|2016. 10. 23.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 39

한 줄 요약

이 논문은 기하학적 다양성(결정성 점진 프로세스를 통한)과 조합적 공정성(감수성 속성 제약을 통한)을 동시에 최적화하는 새로운 알고리즘 프레임워크 P-DPP를 제안한다. 이는 특성 공간을 대표하는 동시에 보호된 속성 간 균형을 이루는 서브샘플을 가능하게 한다. 실험 결과, P-DPP는 기하학적 다양성에 큰 손실 없이 공정성을 크게 향상시켜, 데이터 편향 조건에서도 둘 다 효과적으로 균형을 이루는 데 성공한다.

ABSTRACT

Due to the recent cases of algorithmic bias in data-driven decision-making, machine learning methods are being put under the microscope in order to understand the root cause of these biases and how to correct them. Here, we consider a basic algorithmic task that is central in machine learning: subsampling from a large data set. Subsamples are used both as an end-goal in data summarization (where fairness could either be a legal, political or moral requirement) and to train algorithms (where biases in the samples are often a source of bias in the resulting model). Consequently, there is a growing effort to modify either the subsampling methods or the algorithms themselves in order to ensure fairness. However, in doing so, a question that seems to be overlooked is whether it is possible to produce fair subsamples that are also adequately representative of the feature space of the data set - an important and classic requirement in machine learning. Can diversity and fairness be simultaneously ensured? We start by noting that, in some applications, guaranteeing one does not necessarily guarantee the other, and a new approach is required. Subsequently, we present an algorithmic framework which allows us to produce both fair and diverse samples. Our experimental results on an image summarization task show marked improvements in fairness without compromising feature diversity by much, giving us the best of both the worlds.

연구 동기 및 목표

• 공정성 또는 다양성 중 하나만 최적화하는 기존 방법의 격차를 해결하기 위해.
• 감수성 속성에 걸쳐 공정성을 보장하면서 특성 공간 내 다양성을 유지하는 확장 가능한 알고리즘을 개발하기 위해.
• 공정성과 다양성이 데이터 서브샘플링에서 상당한 상충 관계 없이 공존할 수 있는지 평가하기 위해.
• 숨겨진 또는 편향된 기저 데이터 분포 하에서 제안된 방법의 강건성을 입증하기 위해.

제안 방법

• P-DPP를 제안한다. 이는 k-DPP의 일반화로, 감수성 속성에 대한 정확한 그룹 크기 제약을 부여하면서도 기하학적 다양성을 유지한다.
• 샘플링 확률을 특성 벡터가 형성하는 평행육면체의 제곱 부피에 비례하도록 정의하며, 사전 정의된 각 감수성 속성 그룹의 그룹 크기를 만족하는 부분집합에 국한한다.
• k-DPP에 대한 효율적인 샘플링 알고리즘을 활용하고, 상수 개수의 상호배타적 분할(p = O(1))을 처리할 수 있도록 확장함으로써 다항식 시간 내의 실현 가능성을 확보한다.
• 감수성 속성 그룹별 고정된 수(예: |S ∩ Xi| = ki)를 통한 공정성 제약을 통합함으로써 균형 잡힌 표현을 보장한다.
• 조합적 다양성(D(⋅))의 척도로 샤논 엔트로피를 사용하고, 기하학적 다양성(G(⋅))의 대체 척도로 그람 행렬의 행렬식을 사용한다.
• 성별, 직업 등 레이블이 부여된 감수성 속성이 있는 이미지 데이터셋에 프레임워크를 적용하여, 균일 샘플링, k-DPP, k_i-DPP와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 공정성과 기하학적 다양성이 데이터 서브샘플링에서 동시에 달성될 수 있는가, 아니면 본질적인 상충 관계가 존재하는가?
• RQ2 그룹 수준의 공정성 제약을 적용할 경우 선택된 샘플의 기하학적 다양성은 어떻게 영향을 받는가?
• RQ3 숨겨진 또는 편향된 데이터 분포 하에서 제안된 P-DPP 방법의 성능은 기준 방법들(예: 균일 샘플링, k-DPP, k_i-DPP)과 비교해 어떻게 되는가?
• RQ4 감수성 속성이 완전히 관측되지 않거나 데이터가 불균형할 경우, 방법이 여전히 강건한가?

주요 결과

• 모든 실험에서 P-DPP는 k-DPP, 균일 샘플링, k_i-DPP보다 공정성(D(⋅))에서 유의미하게 뛰어나며, 대응 t-검정에서 p < 0.05를 기록한다.
• P-DPP는 k-DPP와 유사한 기하학적 다양성(G(⋅))를 유지하면서도 균일 샘플링보다 유의미하게 높은 수준을 확보하여 특성 공간 커버리지에 큰 손실 없이 기하학적 다양성을 유지한다.
• 숨겨진 속성이 존재하는 조건에서도 P-DPP는 뛰어난 공정성을 유지하면서 높은 기하학적 다양성을 확보하며, 부분적 제약만 있는 k_i-DPP와는 달리 낮은 공정성 수준을 보인다.
• 매우 편향된 데이터셋(남성 이미지 10–50%) 하에서 P-DPP는 높은 공정성(D(⋅))를 유지하지만, k-DPP는 공정성에 급격한 감소를 보이며, 이는 P-DPP의 데이터 편향에 대한 강건성을 시사한다.
• 작은 그룹의 크기가 커질수록 P-DPP와 k-DPP 간의 기하학적 다양성 격차가 좁혀지며, 더 나은 데이터 커버리지 조건에서 상충 관계가 점점 감소함을 시사한다.
• 종합적으로 P-DPP는 공정성과 다양성 사이의 최적 균형을 달성하여, 두 목표가 동시에 효과적으로 최적화될 수 있음을 입증한다.