[논문 리뷰] Certifying and removing disparate impact

Michael B. Feldman, Sorelle A. Friedler외 3명|arXiv (Cornell University)|2014. 12. 11.

Ethics and Social Impacts of AI참고 문헌 6인용 수 19

한 줄 요약

이 논문은 모델의 내부 로직에 대한 접근 없이도 편향을 탐지하고 제거할 수 있도록 균형 오차율(BER)을 활용하여 데이터 중심 접근법을 제안한다. 이는 보호되는 특성(protected attribute)이 통계적으로 예측 가능하지 않게 데이터를 변환함으로써 예측 유틸리티를 유지하면서도 편향을 제거하는 프레임워크를 도입한다. 이는 기존 방법에 비해 더 우수한 공정성-정확도 트레이드오프를 보여준다.

ABSTRACT

What does it mean for an algorithm to be biased? In U.S. law, unintentional bias is encoded via disparate impact, which occurs when a selection process has widely different outcomes for different groups, even as it appears to be neutral. This legal determination hinges on a definition of a protected class (ethnicity, gender, religious practice) and an explicit description of the process. When the process is implemented using computers, determining disparate impact (and hence bias) is harder. It might not be possible to disclose the process. In addition, even if the process is open, it might be hard to elucidate in a legal setting how the algorithm makes its decisions. Instead of requiring access to the algorithm, we propose making inferences based on the data the algorithm uses. We make four contributions to this problem. First, we link the legal notion of disparate impact to a measure of classification accuracy that while known, has received relatively little attention. Second, we propose a test for disparate impact based on analyzing the information leakage of the protected class from the other data attributes. Third, we describe methods by which data might be made unbiased. Finally, we present empirical evidence supporting the effectiveness of our test for disparate impact and our approach for both masking bias and preserving relevant information in the data. Interestingly, our approach resembles some actual selection practices that have recently received legal scrutiny.

연구 동기 및 목표

• 공정성 기준으로서 EEOC의 80% 규칙을 활용하여 기계학습에서 이질적 영향을 공식화하는 것.
• 모델이나 알고리즘에 대한 접근 없이도 데이터만으로 이질적 영향을 탐지하는 방법을 개발하는 것.
• 예측 유틸리티를 유지하면서도 이질적 영향을 제거하는 데이터 변환 기법을 제안하는 것.
• 기존 접근 방식에 비해 제안된 방법이 더 나은 공정성-정확도 트레이드오프를 달성한다는 것을 경험적으로 검증하는 것.
• 실세계 데이터셋에서 편향을 감시하고 수정하기 위한 실용적이고 프라이버시를 보존하는 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 보호되는 특성이 다른 특징들로부터 예측 가능한지 여부를 판단하기 위해 균형 오차율(BER)을 사용하여 이질적 영향의 존재 여부를 탐지하는 데 사용된다.
• 회귀 기반 절차를 통해 BER를 최소화함으로써, 데이터에 기반한 분류 모델이 이질적 영향을 보일 수 없음을 인증한다.
• 조합적이고 기하학적인 수리 과정을 통해 비보호 특성의 재가중 또는 재구성함으로써 보호되는 특성의 예측 가능성을 감소시킨다.
• 수리 과정은 원래 데이터 분포와의 유사성을 유지하고 비보호 특성의 신호를 유지하도록 설계되어 있다.
• 이 방법은 분류기 독립적이므로, 복구된 데이터에 대해 어떤 후행 분류기라도 적용할 수 있다.
• 이 방법은 여러 데이터셋(German credit, Adult income)과 분류기(SVM, 로지스틱 회귀, 나이브 베이즈)에서 평가되었으며, 공정성은 Zemel의 공정성 점수로, 정확도는 표준 분류율로 측정되었다.

실험 결과

연구 질문

• RQ1 모델의 내부 로직에 대한 접근 없이도 데이터만으로 이질적 영향을 탐지하고 인증할 수 있는가?
• RQ2 균형 오차율(BER)을 어떻게 사용하여 이질적 영향의 부재를 정량화하고 인증할 수 있는가?
• RQ3 어떤 데이터 변환 기법이 보호되는 특성을 효과적으로 은폐하면서도 후행 작업의 예측 유틸리티를 유지할 수 있는가?
• RQ4 제안된 방법의 공정성-정확도 트레이드오프는 기존의 공정 학습 접근 방식과 비교해 어떻게 다른가?
• RQ5 수리 과정이 다수의 보호되는 특성에 걸쳐 유틸리티 손실을 어떻게 누적시키는가?

주요 결과

• 제안된 인증 방법은 복구된 데이터에서 테스트된 세 분류기 모두에서 이질적 영향이 없음을 확인함으로써, 이질적 영향이 없는 데이터셋을 성공적으로 식별하고 인증한다.
• 기하학적 및 조합적 수리 과정은 다양한 데이터셋과 분류기에서 경쟁 기법들에 비해 일관되게 뛰어난 공정성-정확도 트레이드오프를 달성한다.
• 원하는 공정성 수준에서, 복구된 데이터셋은 정규화된 로지스틱 회귀, 학습된 공정한 표현, 공정한 나이브 베이즈와 같은 기존 방법들보다 더 높은 분류 정확도를 제공한다.
• 수리로 인한 유틸리티 손실은 개별 특성의 손실 합과 유사하여 복합화 효과가 없음을 시사하며, 이는 다수의 보호되는 특성에 대한 확장성도 보여준다.
• 이 방법은 복구 후 분류기를 선택할 수 있는 유연성을 보이며, Adult income 데이터셋에서 나이브 베이즈 기반 수리가 고공정성 수준에서 로지스틱 회귀보다 더 높은 정확도를 달성한다.
• 원본 데이터는 높은 차별성을 보였지만, 복구 후 공정성과 정확도가 모두 크게 향상되었으며, 특히 클래스 사전 확률를 균형 맞추기 위해 분류기를 재가중했을 때 두 가지 모두 개선되었다.