[논문 리뷰] Fairness Through Computationally-Bounded Awareness

Michael P. Kim, Omer Reingold외 1명|arXiv (Cornell University)|2018. 03. 08.

Ethics and Social Impacts of AI참고 문헌 9인용 수 52

한 줄 요약

이 논문은 한정된 수의 메트릭 샘플로 학습 가능한, fairness through awareness의 완화인 metric multifairness를 도입한다. 이는 유사한 하위집단에 대한 공정한 대우를 가능하게 하되 유사성 메트릭을 전체적으로 알 필요는 없다.

ABSTRACT

We study the problem of fair classification within the versatile framework of Dwork et al. [ITCS '12], which assumes the existence of a metric that measures similarity between pairs of individuals. Unlike earlier work, we do not assume that the entire metric is known to the learning algorithm; instead, the learner can query this arbitrary metric a bounded number of times. We propose a new notion of fairness called metric multifairness and show how to achieve this notion in our setting. Metric multifairness is parameterized by a similarity metric $d$ on pairs of individuals to classify and a rich collection ${\cal C}$ of (possibly overlapping) "comparison sets" over pairs of individuals. At a high level, metric multifairness guarantees that similar subpopulations are treated similarly, as long as these subpopulations are identified within the class ${\cal C}$.

연구 동기 및 목표

• 모든 개인 쌍에 대해 전체 메트릭 지식이 요구되지 않는 공정성 개념을 동기부여하고 형식화한다.
• Lipschitz 기반의 공정성의 완화를 풍부한 비교 모음을 사용하여 metric multifairness로 도입한다.
• 작은 수의 메트릭 샘플로 metric multifairness를 달성하는 효율적인 학습 알고리즘을 개발한다.
• 재학습 없이 현재 예측에 대해 metric multifairness를 시행하도록 후처리 방법을 제시한다.
• 공정성 강도, 샘플 복잡도, 계산 한계 사이의 trade-off를 분석한다.]
• method:[

제안 방법

• metric d와 비교 C의 모음에 대해 각 S in C에 대해 평균 Lipschitz 조건을 강제하는 metric multifairness를 정의한다.
• 손실을 선형 가설 클래스에서 최적화하면서 multifairness를 강제하는 switching subgradient descent 알고리즘을 제안한다.
• 메트릭의 복잡도와 무관하게 |C|의 로그에 비례하는 수의 메트릭 샘플에서 metric multifairness를 달성할 수 있음을 보인다.
• 작은 메트릭 샘플을 사용하여 기존 예측을 metric multifairness 집합으로 투영하는 post-processing 접근 방법을 제공한다.
• C에 대해 편향되지 않은 학습으로 제약 탐색 문제를 축소하여, C가 효율적은 편향되지 않은 학습자를 허용할 때 효율성을 달성한다.
• 샘플 복잡도의 한계를 나타내는 hardness 결과와 의사난수성(pseudorandomness)와의 연관성을 논의한다.

실험 결과

연구 질문

• RQ1 모든 개인 쌍에 대해 쌍방 메트릭의 전체 접근 없이 의미 있는 공정성 개념을 달성할 수 있는가?
• RQ2 한정된 수의 메트릭 샘플만으로 Lipschitz 유형의 공정성 제약을 어떻게 강제할 수 있는가?
• RQ3 비교 클래스 C의 표현력이 공정성 보장의 강도와 어떤 관계가 있는가?
• RQ4 제한된 메트릭 접근으로 metric multifairness를 만족하도록 예측을 효율적으로 학습하거나 후처리할 수 있는가?
• RQ5 metric multifairness 보장의 고유한 한계(샘플 복잡도, 난제성)는 무엇인가?

주요 결과

• Metric multifairness는 풍부하지만 한정된 비교 모음 C에 대해 Lipschitz와 유사한 제약을 적용하여 일반화된 metric fairness를 확장한다.
• Switching subgradient descent 알고리즘은 O(B^2 n^2 log(n/δ)/τ^2) 반복과 O(log(|C|/δ)/(γ τ^2)) 메트릭 샘플을 사용하여 높은 확률로 metric multifairness 가설을 학습한다.
• 메트릭 샘플 복잡도는 |C|의 로그에 비례하여 확장되며, 지수적으로 큰 비교 클래스에서도 효율적인 공정성 보장을 가능하게 한다.
• C가 γ-큰 경우와 평균 거리 비교가 작다면, metric multifairness 가설은 상당 부분의 쌍에 대해 더 강한 개별 공정성을 보여야 한다(제안 1).
• C에 대해 편향되지 않은 학습으로의 축소는 위반 제약 탐색을 가속화하여, C가 효율적인 편향되지 않은 학습자를 갖는 경우 효율적인 구현이 가능하게 한다(정리 3).
• 난제성 결과는 샘플 복잡도 경계가 log log(|C|) 인자까지는 타이트하며, 고효용 결과를 위해서는 C에 대한 일부 학습 가능성 가정이 필요함을 보인다(정리 4, 명제 5).