[논문 리뷰] Decoupled classifiers for fair and efficient machine learning

Cynthia Dwork, Nicole Immorlica외 2명|arXiv (Cornell University)|2017. 07. 20.

Ethics and Social Impacts of AI참고 문헌 6인용 수 9

한 줄 요약

이 논문은 민감한 속성(예: 인종, 성별)을 기계학습에 사용할 때 그룹 간 고유한 정확도 트레이드오프를 제거하기 위해 각 민감 그룹(예: 인종, 성별)별로 별도의 모델을 훈련시키는 분리된 분류기들을 제안한다. 민감 그룹별 훈련, 전이 학습, 그리고 공정성과 정확도를 균형 잡는 공동 손실 함수를 결합함으로써, 이 방법은 그룹 수준의 성능을 향상시키고 특히 다수 그룹의 특징이 표준 분류기에서 지배하는 경우에 편향을 감소시킨다.

ABSTRACT

When it is ethical and legal to use a sensitive attribute (such as gender or race) in machine learning systems, the question remains how to do so. We show that the naive application of machine learning algorithms using sensitive features leads to an inherent tradeoff in accuracy between groups. We provide a simple and efficient decoupling technique, that can be added on top of any black-box machine learning algorithm, to learn different classifiers for different groups. Transfer learning is used to mitigate the problem of having too little data on any one group. The method can apply to a range of fairness criteria. In particular, we require the application designer to specify as joint loss function that makes explicit the trade-off between fairness and accuracy. Our reduction is shown to efficiently find the minimum loss as long as the objective has a certain natural monotonicity property which may be of independent interest in the study of fairness in algorithms.

연구 동기 및 목표

• 민감한 속성을 기계학습에 사용할 때 인구 통계적 그룹 간 고유한 정확도 트레이드오프를 해결하기 위해.
• 정확도를 희생시키지 않고 공정성을 향상시키기 위해 각 그룹별로 분류기를 분리하는 실용적이고 즉시 사용 가능한 방법을 개발하기 위해.
• 정확도와 공정성 지표를 균형 잡는 공동 손실 함수를 통해 애플리케이션 특화의 공정성 목표를 달성하기 위해.
• 분리된 분류기와 전이 학습을 결합한 방법이 다수 그룹에 비해 자원이 적은 그룹에서 표준 결합 분류기보다 뛰어나게 성능을 발휘함을 보여주기 위해.
• 어떤 오프더셰프 분류기와도 호환되는 블랙박스 감소 기법을 제공하여 약한 단조성 조건 하에서 공정성을 효율적으로 최적화하기 위해.

제안 방법

• 민감 그룹별로 별도의 분류기를 훈련시키기 위해 그룹별 데이터를 사용하여 각 그룹에 맞는 별도의 결정 경계를 생성한다.
• 공유된 글로벌 모델에서 사전 훈련된 가중치를 초기화하여 저자원 그룹에서의 성능을 향상시키기 위해 전이 학습을 활용한다.
• 그룹 간 공정성 지표(예: 거짓 양성률, 예측값)의 격차를 방지하기 위해 공동 손실 함수를 정의한다.
• 약한 단조성 성질을 만족하는 손실 함수일 경우 전역 최적화를 보장하는 블랙박스 감소 기법을 사용하여 공동 손실 함수를 최적화한다.
• 선형 분류기, 서포트 벡터 기반 분류기(SVM), 신경망 특징에 적용하여 표본 데이터와 이미지 데이터 양쪽에서 효과를 입증한다.
• 이미지 특징 추출을 위해 사전 훈련된 CaffeNet 모델을 사용하고 성별 기반 이미지 분류에서의 편향을 평가한다.

실험 결과

연구 질문

• RQ1 민감 그룹별로 별도의 분류기를 훈련시키는 것이 민감한 속성을 사용할 때 그룹 간 고유한 정확도 트레이드오프를 제거할 수 있는가?
• RQ2 전이 학습은 분리된 분류 시스템에서 자원이 적은 그룹의 성능을 어떻게 향상시키는가?
• RQ3 이미지 분류에서 다수 그룹의 특징이 지배할 경우, 소수 그룹의 이미지가 다수 그룹의 특징과 유사해지면, 분리 기법이 다수 특징 편향을 어느 정도 감소시키는가?
• RQ4 정확도 기준과 공정성 기준을 통합한 공동 손실 함수를 블랙박스 감소 기법을 통해 효율적으로 최적화할 수 있는가?
• RQ5 불균형한 그룹 표현을 보이는 실제 데이터셋에서 분리된 분류기가 표준 결합 분류기보다 뛰어난 성능을 보이는가?

주요 결과

• 분리된 분류기는 이미지 분류에서 편향을 크게 감소시킨다: 결합된 분류기는 다수 그룹의 특징 때문에 투시티를 입은 여성을 '정장'으로 잘못 분류했지만, 분리된 분류기는 이 오류를 피했다.
• 전이 학습은 소수 그룹에서의 성능을 크게 향상시킨다; 전이 학습 없이 분리된 분류기를 사용할 경우 여러 데이터셋에서 결합된 분류기보다 성능이 열 劣하다.
• 결합된 선형 SVM과 분리된 선형 SVM 모두 5겹 교차 검증에서 94.5%의 정확도를 달성했지만, 분리된 모델은 상위 예측에서 다수 특징 편향이 감소한 것으로 나타났다.
• 목적 함수가 약한 단조성 성질을 만족할 경우 공동 손실 함수에 대해 전역 최적화를 달성할 수 있으며, 이는 효율적인 최적화를 가능하게 한다.
• 분리된 접근법은 사용자 정의 가능한 공동 손실 함수를 통해 응용 설계자가 공정성-정확도 트레이드오프를 명시적으로 정의할 수 있게 하여 다양한 공정성 기준에 적응 가능하게 한다.
• 실증 결과에 따르면, 분리 기법은 특히 데이터 부족 문제를 완화하기 위해 전이 학습을 사용할 경우, 특정 데이터셋과 민감한 특징에서 손실을 감소시킬 수 있다.