[논문 리뷰] Equal Opportunity in Online Classification with Partial Feedback

Yahav Bechavod, Katrina Ligett외 3명|arXiv (Cornell University)|2019. 02. 06.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 6

한 줄 요약

이 논문은 부분 피드백을 갖는 온라인 이元 분류 문제를 다루며, 이는 긍정적으로 분류된 개인들에 대해서만 레이블이 관측된다는 것을 뜻한다. 이는 모든 라운드에서 동일한 기회 공정성 제약(등가된 거짓 양성/음성 비율)을 강제하는 오라클 효율적인 알고리즘을 제안하며, 공정성의 손실 비용이 미약함을 보여준다—γ-공정성에 대해 오직 Ω(1/γ²)이며, 엄밀한 상한 및 하한 경계가 확립되어 있다.

ABSTRACT

We study an online classification problem with partial feedback in which individuals arrive one at a time from a fixed but unknown distribution, and must be classified as positive or negative. Our algorithm only observes the true label of an individual if they are given a positive classification. This setting captures many classification problems for which fairness is a concern: for example, in criminal recidivism prediction, recidivism is only observed if the inmate is released; in lending applications, loan repayment is only observed if the loan is granted. We require that our algorithms satisfy common statistical fairness constraints (such as equalizing false positive or negative rates -- introduced as "equal opportunity" in Hardt et al. (2016)) at every round, with respect to the underlying distribution. We give upper and lower bounds characterizing the cost of this constraint in terms of the regret rate (and show that it is mild), and give an oracle efficient algorithm that achieves the upper bound.

연구 동기 및 목표

• 대출 또는 범죄 재범 예측과 같이 긍정적으로 분류된 개인들에 대해서만 피드백이 제공되는 온라인 분류에서의 공정성 문제를 다루기 위해.
• 기본 분포에 대해 매 라운드마다 통계적 공정성 제약—특히 동일한 기회를 위한 등가된 거짓 양성 및 음성 비율(등가된 기회)을 만족시키기 위해.
• 표준 배치 방법이 피드백 편향으로 인해 실패하는 부분 피드백 환경에서, 공정성 제약과 학습 회귀 손실 간의 상호 교환 관계를 분석하기 위해.
• 회귀 손실의 관점에서 공정성의 비용을 이론적으로 경계하여, 이 비용이 미약하고 정량화 가능하다는 것을 보여주기 위해.
• 공정성 제약 하에서 최적의 회귀 손실 경계를 달성하는 오라클 효율적인 알고리즘을 설계하기 위해.

제안 방법

• 오직 긍정적으로 분류된 개인들의 진짜 레이블만 관측되는 부분 피드백을 갖는 온라인 학습 문제로 문제를 모델링한다.
• 공정성은 γ-등가된 거짓 양성 비율(γ-EFP) 제약을 통해 정의되며, 임의의 분류기 π에 대해 |FPR₁(π) − FPR₋₁(π)| ≤ γ 를 요구한다.
• 예시들이 알려지지 않은 분포 D에서 i.i.d. 로 추출되는 분포 모델을 사용하며, x는 민감한 속성 a를 포함한 특징으로 구성된다.
• KL 발산 등을 포함한 정보 이론적 도구를 적용하여, 두 개의 구분하기 어려운 분포 D₁과 D₂를 구분하기 위해 Ω(1/γ²)개의 샘플이 필요하다는 것을 증명한다.
• 알고리즘이 D₁과 D₂를 구분할 수 있을 때까지는 상수 분류기 의존도가 높아지고, 이로 인해 높은 회귀 손실을 겪는다는 점을 통해 회귀 손실의 하한 경계를 유도한다.
• 모든 라운드에서 공정성을 유지하면서 최적의 상한 경계를 달성하는 오라클 효율적인 알고리즘을 설계하며, 이는 상한 경계와 하한 경계 사이의 상수 배수 범위 내에서 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 부분 피드백 환경에서 온라인 분류에 동일한 기회 공정성 제약을 적용할 경우, 회귀 손실 비용은 얼마인가?
• RQ2 모든 라운드에서 공정성(등가된 거짓 양성/음성 비율)을 유지하면서도 하한선 이상의 회귀 손실을 달성할 수 있는가?
• RQ3 부분 피드백 하에서 공정성 특성만 다를 뿐인 두 분포를 구분하는 데 얼마나 어려운가?
• RQ4 이 온라인 학습 환경에서 공정성과 회귀 손실 간의 최적의 상호 교환 관계는 무엇인가?
• RQ5 공정성 제약 하에서 최적의 회귀 손실 경계를 달성하는 오라클 효율적인 알고리즘을 설계할 수 있는가?

주요 결과

• γ-EFP 공정성 제약을 적용할 경우의 회귀 손실 비용은 Ω(1/γ²)이며, 이는 공정성이 학습 성능에 대해 미약하고 정량화 가능한 비용을 초래한다는 것을 보여준다.
• D₁과 D₂라는 두 분포를 구성함으로써 회귀 손실의 하한 경계를 확립하였으며, 이 두 분포는 KL 발산 ≤ 64γ² 이므로 서로 구분하기 어려운 편이다. 이는 알고리즘이 신중하게 탐색해야 한다는 것을 의미한다.
• γ-EFP(δ)-공정성을 유지하는 모든 알고리즘은 예상 0-EFP 회귀 손실이 Ω(T²α) 이상이어야 하며, 이는 공정성과 회귀 손실 간의 근본적인 상호 교환 관계를 보여준다.
• 하한 경계와 상수 배수 범위 내에서 일치하는 상한 경계를 달성하는 오라클 효율적인 알고리즘을 구성하였으며, 이는 회귀 손실 경계의 엄밀함을 증명한다.
• 분석 결과, 공정성 제약은 탐색과 동시에 이용을 제약함으로써, 공정성 제약이 있는 온라인 학습이 배치 학습과 본질적으로 다르다는 것을 보여준다.
• 결과는 동일한 기회를 넘어서 통계적 평등성과 같은 다른 통계적 공정성 제약으로도 확장 가능하며, 이는 이 프레임워크의 광범위한 적용 가능성을 시사한다.