[논문 리뷰] Distribution-Specific Auditing For Subgroup Fairness

Daniel Hsu, Jizhou Huang외 1명|arXiv (Cornell University)|2024. 01. 01.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 특성들이 가우시안 분포를 따를 때, 이차형 분류기에서 부분군 공정성의 근사화를 위한 최초의 다항시간 근사화 계획(PTAS)을 제시한다. 최근의 동일한 반평면(aggressive learning of homogeneous halfspaces)의 발전을 활용하며, 가우시안 가정 하에서 선형 임계값으로 정의된 부분군에 대한 공정성 위반의 효율적 감사가 가능하다는 것을 보여주지만, 강력한 암호학적 가정은 일반 반평면 부분군에 대해 근본적인 한계를 초래한다.

ABSTRACT

We study the problem of auditing classifiers for statistical subgroup fairness. Kearns et al. [Kearns et al., 2018] showed that the problem of auditing combinatorial subgroups fairness is as hard as agnostic learning. Essentially all work on remedying statistical measures of discrimination against subgroups assumes access to an oracle for this problem, despite the fact that no efficient algorithms are known for it. If we assume the data distribution is Gaussian, or even merely log-concave, then a recent line of work has discovered efficient agnostic learning algorithms for halfspaces. Unfortunately, the reduction of Kearns et al. was formulated in terms of weak, "distribution-free" learning, and thus did not establish a connection for families such as log-concave distributions. In this work, we give positive and negative results on auditing for Gaussian distributions: On the positive side, we present an alternative approach to leverage these advances in agnostic learning and thereby obtain the first polynomial-time approximation scheme (PTAS) for auditing nontrivial combinatorial subgroup fairness: we show how to audit statistical notions of fairness over homogeneous halfspace subgroups when the features are Gaussian. On the negative side, we find that under cryptographic assumptions, no polynomial-time algorithm can guarantee any nontrivial auditing, even under Gaussian feature distributions, for general halfspace subgroups.

연구 동기 및 목표

• 공정성에 대한 조합적 부분군 감사를 위한 계산의 비효율성, 특히 분포 독립 설정 하에서의 문제를 다루기 위해.
• 특정 분포, 특히 가우시안 분포에 초점을 맞춰 오차 없는 학습의 발전과 공정성 감사 간 격차를 메우기 위해.
• 가우시안 특성 분포 하에서 부분군 공정성에 대해 증명 가능하게 효율적이고 정확한 감사 알고리즘을 제공하기 위해.
• 암호학적 가정 하에서도, 조건이 유리한 분포 설정(예: 가우시안)에서도 이러한 감사의 근본적인 한계를 규명하기 위해.

제안 방법

• 가우시안 분포 하에서 동일한 반평면의 오차 없는 학습으로의 공정성 감사 문제를 축소하는 새로운 감사 프레임워크를 제안한다.
• Diakonikolas 등이 제안한 동일한 반평면의 오차 없는 학습에 대한 PTAS를 변형하여, 추가 오차 보장을 갖춘 공정성 감사자(auditor)를 구성한다.
• 부분군의 확률 질량(범위 a에서 b)에 대한 이진 탐색을 통해 공정성 이질성 최대를 보이는 부분군을 식별한다.
• 반복적으로 후보 반평면을 개선하기 위해 수정된 오라클 기반 루프를 사용하며, n회 반복 동안의 유니온 바운드를 통해 농도 경계를 유지한다.
• 분포 특화 방식으로 부스팅 유사 기법을 적용하여, 경험적 표본 위에서 작동함으로써 분포 성질 손실를 방지한다.
• 편차 최대화 |dD(c, h)|를 최적화하는 것과 동치임을 보장하기 위해 레마 3.6에 의존한다.

실험 결과

연구 질문

• RQ1 특성들이 가우시안 분포를 따를 때, 일반 문제의 어려움에도 불구하고, 가우시안 분포 특성 하에서 부분군 공정성에 대해 효율적인 감사가 가능할 수 있는가?
• RQ2 분포 특화 오차 없는 학습 결과를 얼마나 잘 활용하여 부분군 공정성 감사에 대해 PTAS를 구성할 수 있는가?
• RQ3 데이터 분포가 잘 조건화되어 있음(예: 가우시안)하더라도, 암호학적 가정 하에서 공정성 감사의 근본적인 한계는 무엇인가?
• RQ4 이 프레임워크는 로그-볼록 분포 하에서 일반 반평면이나 논리곱 형태의 더 풍부한 부분군 가족으로 확장될 수 있는가?

주요 결과

• 특성이 i.i.d. 가우시안일 때, 동일한 반평면 부분군에 대해 부분군 공정성 감사를 위한 최초의 PTAS를 제시하며, 차원과 정확도의 역수에 대해 다항 시간 런타임을 갖는다.
• 가우시안 가정 하에서 제안된 알고리즘은 공정성 이질성에 대해 2ǫ의 추가 오차 한계를 확보하며, 높은 확률 1−δ로 성립한다.
• 알고리즘은 Prx∼D{h′} = 1/2를 만족하고, |dN(c, h′)| ≥ maxh∈HN1/2 |dN(c, h)| − 2ǫ를 만족하는 부분군 h′를 성공적으로 식별한다.
• 암호학적 가정 하에서는 일반 반평면 부분군에 대해 어떤 다항시간 알고리즘도 비트리비얼 감사를 보장할 수 없으며, 가우시안 특성 조건 하에서도 마찬가지다.
• 이 프레임워크는 중요한 격차를 드러낸다: 동일한 반평면은 효율적으로 감사 가능하지만, 일반 반평면은 표준 가정 하에서도 비효율적이다.
• 기존의 일반 반평면에 대한 오차 없는 학습 방법은 여전히 상수 오차를 암시하여, 정밀한 공정성 감사에선 제한된다.