[논문 리뷰] Learning under selective labels in the presence of expert consistency

Blum, Avrim, Stangl, Kevin|arXiv (Cornell University)|2018. 07. 02.

Fuzzy Systems and Optimization참고 문헌 12인용 수 17

한 줄 요약

이 논문은 알고리즘 지원 의사결정에서 선택적 레이블링 편향을 해결하기 위한 데이터 증강 방법을 제안한다. 이는 인간 전문가가 일관되게 특정 레이블을 예측하는 경우 진정한 결과가 관찰되지 않는 상황을 대상으로 한다. 전문가 일관성, 특히 인간이 결과가 부정임을 매우 확신할 때를 중심으로, 모델의 일반화 능력을 향상시키기 위해 합성 레이블을 생성한다. 주요 기여는 선택적 레이블링 데이터에서 모델의 신뢰성과 신뢰도를 향상시키는 데 있으며, 특히 잠재적 부정성 검출 및 체계적 차별 위험 감소에 기여한다.

ABSTRACT

Multiple fairness constraints have been proposed in the literature, motivated by a range of concerns about how demographic groups might be treated unfairly by machine learning classifiers. In this work we consider a different motivation; learning from biased training data. We posit several ways in which training data may be biased, including having a more noisy or negatively biased labeling process on members of a disadvantaged group, or a decreased prevalence of positive or negative examples from the disadvantaged group, or both. Given such biased training data, Empirical Risk Minimization (ERM) may produce a classifier that not only is biased but also has suboptimal accuracy on the true data distribution. We examine the ability of fairness-constrained ERM to correct this problem. In particular, we find that the Equal Opportunity fairness constraint [Hardt et al., 2016] combined with ERM will provably recover the Bayes optimal classifier under a range of bias models. We also consider other recovery methods including re-weighting the training data, Equalized Odds, and Demographic Parity, and Calibration. These theoretical results provide additional motivation for considering fairness interventions even if an actor cares primarily about accuracy.

연구 동기 및 목표

• 선택적 레이블링 편향 문제를 다루기 위한 것. 이는 인간의 결정이 관찰을 차단하는 경우 진정한 결과가 관찰되지 않는 상황을 대상으로 한다.
• 진정한 레이블이 누락된 상황에서 전문가 일관성(특히 인간이 매우 확신하는 경우)이 모델 훈련에 어떻게 활용될 수 있는지 탐구하기 위한 것.
• 전문가의 확신을 통합한 데이터 증강 프레임워크를 개발하여 레이블이 없는 영역으로의 모델 일반화 능력을 향상시키기 위한 것.
• 선택적 레이블링 하에 학습하는 것이 신뢰할 수 없는 모델, 특히 체계적 차별 위험에 노출된 모델을 초래할 수 있는지 평가하고, 제안된 방법을 실증적 검증 도구로 활용하기 위한 것.
• 공동된 편향에서 비롯될 수 있는 전문가 일관성에 의존할 경우의 위험과 이점 탐색하기

제안 방법

• 선택적 레이블링 편향이 영향을 주지 않는 예측 모델을 사용하여 P(di = 1|xi)를 추정하고, 이는 진정한 레이블이 관찰될 확률을 나타낸다.
• P(di = 1|xi) < ϵ 인 경우에 대해 합성 레이블을 추가하는 데이터 증강 기법을 제안하며, 이는 인간의 일관된 예측이 정확함을 시사하기 때문이다.
• ϵ = 0.05의 임계값을 적용하여 인간이 결과 관찰을 매우 확신하는 경우(즉, di = 0)를 식별하고, 전문가 일관성에 기반한 반합성 레이블을 할당한다.
• 관측된 데이터 So와 함께, { (xi, di) : P(di = 1|xi) < ϵ }의 합성 데이터를 포함한 증강 훈련 데이터 SA = So ∪ {(xi, di) : P(di = 1|xi) < ϵ}를 생성하고, 이 데이터로 관측된 데이터와 전문가 일관성 기반의 레이블이 없는 케이스를 모두 훈련한다.
• 증강된 데이터에서 잔존하는 선택 편향을 보정하기 위해 역확률 가중치를 변형 적용한다.
• 실제 세계 데이터(아동 복지 배치)와 반합성 데이터를 사용하여 방법을 검증하고, 관측된 테스트 세트와 증강된 테스트 세트에서의 모델 성능을 비교한다.

실험 결과

연구 질문

• RQ1 선택적 레이블링 하에서 인간 결정의 전문가 일관성이 신뢰성 있게 레이블이 없는 데이터에 대한 합성 레이블 생성에 활용될 수 있는가?
• RQ2 전문가 일관성 기반 데이터 증강이 선택적 레이블링이 된 데이터 영역으로의 모델 일반화 능력을 향상시키는가?
• RQ3 선택적 레이블링 데이터에서 학습할 경우 얼마나 높은 수준의 불신뢰성, 특히 부정성 비율과 체계적 차별 위험이 발생하는가?
• RQ4 증강된 데이터에서의 모델 성능은 관측된 데이터에서의 성능과 어떻게 다를까? 특히 고위험 케이스 탐지 측면에서.
• RQ5 전문가 일관성이 정확성의 지표인지, 공통된 편향의 결과인지 판단할 수 있는 조건은 무엇인가?

주요 결과

• 반합성 데이터에서는 관측된 데이터로만 훈련된 모델이 낮은 민감도(높은 부정성 비율)에서 성능이 열악했으며, 이 결함은 증강된 테스트 세트에서 평가했을 때에야만 드러났다.
• 반합성 데이터에서 데이터 증강 방법은 특히 전문가가 매우 확신하여 걸러낸 케이스에서 부정성을 크게 감소시켜 일반화 능력 향상이 뚜렷하게 나타났다.
• 실제 세계 데이터에서는 고신뢰도 걸러내기 수가 적어 증강의 영향이 미미했지만, 걸러진 영역에서 모델 예측이 인간 결정과 강한 일치를 보였다.
• 증강된 데이터로 훈련된 모델은 고신뢰도로 걸러진 케이스에 대해 낮은 위험 점수를 할당하여 전문가 일관성과 더 잘 일치하는 것으로 나타났다.
• 증강된 환경에서의 역확률 가중치 적용은 성능 향상에 유의미한 기여를 하지 못했으며, 이는 핵심적인 이점이 전적으로 전문가 일관성 기반 증강 자체에서 비롯됨을 시사한다.
• 이 방법은 전문가 지식을 모델 훈련에 성공적으로 통합하여 인간의 신뢰도 신호가 유용한 의사결정 지원 시스템에서 신뢰성과 신뢰도를 향상시켰다.