[논문 리뷰] Fairness-aware machine learning: a perspective

Indrė Žliobaitė|arXiv (Cornell University)|2017. 08. 02.

Ethics and Social Impacts of AI참고 문헌 22인용 수 15

한 줄 요약

이 논문은 기계 학습 파이프라인의 철저한 분석을 통해 알고리즘적 차별의 근본 원인을 규명함으로써, 이론에 기반한 체계적인 접근을 통해 공정성 인지 기계 학습을 제안한다. 정확도와 공정성을 균형 잡는 통합 최적화 기준을 도입하여 후속 수리가 아닌 사전 예방이 가능한 방법을 제공한다.

ABSTRACT

Algorithms learned from data are increasingly used for deciding many aspects in our life: from movies we see, to prices we pay, or medicine we get. Yet there is growing evidence that decision making by inappropriately trained algorithms may unintentionally discriminate people. For example, in automated matching of candidate CVs with job descriptions, algorithms may capture and propagate ethnicity related biases. Several repairs for selected algorithms have already been proposed, but the underlying mechanisms how such discrimination happens from the computational perspective are not yet scientifically understood. We need to develop theoretical understanding how algorithms may become discriminatory, and establish fundamental machine learning principles for prevention. We need to analyze machine learning process as a whole to systematically explain the roots of discrimination occurrence, which will allow to devise global machine learning optimization criteria for guaranteed prevention, as opposed to pushing empirical constraints into existing algorithms case-by-case. As a result, the state-of-the-art will advance from heuristic repairing, to proactive and theoretically supported prevention. This is needed not only because law requires to protect vulnerable people. Penetration of big data initiatives will only increase, and computer science needs to provide solid explanations and accountability to the public, before public concerns lead to unnecessarily restrictive regulations against machine learning.

연구 동기 및 목표

• 기계 학습 알고리즘이 왜 및 어떻게 차별적 성향을 띠게 되는지에 대한 과학적 이해 부족을 보완한다.
• 다양한 학습 환경과 데이터 유형에서의 차별 메커니즘을 설명할 수 있는 통합 이론적 프레임워크를 개발한다.
• 모델의 비차별 보장을 보장하는 체계적이고 글로벌하게 적용 가능한 최적화 기준을 수립한다.
• 임의의 약속이나 후행 조치에 의존하지 않고 기존 모델의 공정성에 대한 감사 및 진단을 가능하게 한다.
• 법적 준수를 넘어서 정책 및 실무에 기여할 수 있는 공정성에 대한 과학적 근거를 제공한다.

제안 방법

• 데이터 전처리, 모델 학습, 후처리 단계에서 차별이 어떻게 발생하는지 파악하기 위해 전체 기계 학습 파이프라인을 분석한다.
• 보호되는 특성에 의해 정의된 하위군 간 오차 분포를 분석함으로써 공정성 문제를 체계적으로 진단하기 위한 진단 프레임워크(RQ1)를 도입한다.
• 예측에 사용하지 않더라도 모델 학습 과정에서 민감한 특성이 미치는 영향을 분석하여 공정성에 대한 영향도를 정량화한다.
• 정확도를 하위군별로 최적화하기 위해 클러스터링 또는 성향 스코어 매칭을 제안함으로써 오차율의 큰 편차를 줄인다.
• 하위군 간 격리 정도를 제어할 수 있는 매개변수를 사용하여 정확도와 공정성 간의 트레이드오프를 고려한 강건한 최적화 기준을 개발한다.
• 공정성-정확도 트레이드오프의 이론적 분석에 기반해 비차별 제약 조건을 학습 목표에 통합한다.

실험 결과

연구 질문

• RQ1 RQ1: 하위군 간 오차 분포를 분석함으로써 기계 학습 모델의 공정성 문제를 체계적으로 진단할 수 있는 방법은 무엇인가?
• RQ2 RQ2: 알고리즘적 차별을 초래하는 기본적인 계산적 메커니즘은 무엇이며, 데이터 샘플링 및 모델 구조에 따라 어떻게 달라지는가?
• RQ3 RQ2.5: 모델 개발 과정에서의 공정성 감사를 위한 진단 및 절차 체크리스트를 어떻게 구축할 수 있는가?
• RQ4 RQ3: 보호 그룹 간 비차별 보장을 보장하면서 성능 저하 없이 달성 가능한 새로운 강건한 최적화 기준은 무엇인가?
• RQ5 RQ3.3: 새로운 최적화 기준을 통해 공정성을 강제 적용하는 것이 성능 향상에도 기여할 수 있는가, 단순한 준수 수준을 넘어서서 말이다?

주요 결과

• 객관적이고 잘 샘플링된 데이터를 사용하더라도 기계 학습에서의 차별은 발생할 수 있으며, 이는 편향이 데이터 문제뿐 아니라 모델링 문제이기도 하다는 것을 시사한다.
• 기존의 공정성 솔루션은 종종 사례별 제약 조건과 조치에 의존하며, 통합된 이론적 기반을 갖추지 못하고 있다.
• 예측에 사용하지 않더라도 모델 학습 단계에서 민감한 특성을 포함하는 것이 차별 탐지 및 방지를 위해 필수적일 수 있다.
• 선형 회귀를 활용한 시범 연구 결과, 민감한 특성을 완전히 배제하는 것은 공정한 모델 개발을 방해하며, 공정성 보장을 약화시킬 수 있다.
• 큰 하위군 오차 편차를 최소화하는 강건한 최적화 기준은 공정성과 정확도가 모두 높은 모델을 도출할 수 있다.
• 이론적 및 실증적 증거는 공정성 인지 최적화가 성능 향상에도 기여할 수 있음을 시사하며, 공정성이 정확도를 떨어뜨린다는 가정을 도전한다.