[논문 리뷰] Stable and Fair Classification

Lingxiao Huang, Nisheeth K. Vishnoi|arXiv (Cornell University)|2019. 02. 21.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 기존의 공정 분류 알고리즘에 안정성 중심의 정규화 항을 추가하여 기계 학습 분류기의 공정성과 안정성을 향상시키는 새로운 최적화 프레임워크를 제안한다. 이 방법은 이론적 보장을 바탕으로 균일한 안정성을 보장하며, 정확도가 1.5% 감소하는 데 그치지 않고 실제로는 안정성을 최대 50% 향상시킨다. 이는 공정성과 안정성을 동시에 최적화하는 데 있어 최초의 프레임워크이다.

ABSTRACT

Fair classification has been a topic of intense study in machine learning, and several algorithms have been proposed towards this important task. However, in a recent study, Friedler et al. observed that fair classification algorithms may not be stable with respect to variations in the training dataset -- a crucial consideration in several real-world applications. Motivated by their work, we study the problem of designing classification algorithms that are both fair and stable. We propose an extended framework based on fair classification algorithms that are formulated as optimization problems, by introducing a stability-focused regularization term. Theoretically, we prove a stability guarantee, that was lacking in fair classification algorithms, and also provide an accuracy guarantee for our extended framework. Our accuracy guarantee can be used to inform the selection of the regularization parameter in our framework. To the best of our knowledge, this is the first work that combines stability and fairness in automated decision-making tasks. We assess the benefits of our approach empirically by extending several fair classification algorithms that are shown to achieve the best balance between fairness and accuracy over the Adult dataset. Our empirical results show that our framework indeed improves the stability at only a slight sacrifice in accuracy.

연구 동기 및 목표

• 실세계 구현에서 훈련 데이터의 변동에 대한 기존 공정 분류 알고리즘의 불안정성 문제를 해결하기 위해.
• 자동화된 의사결정 시스템에서 공정성과 균일한 안정성을 동시에 보장하는 통합 프레임워크를 개발하기 위해.
• 확장된 공정 분류 프레임워크에 대한 안정성과 일반화에 대한 이론적 보장을 제공하기 위해.
• 정규화 항이 정확도나 공정성에 크게 영향을 주지 않으면서 안정성을 향상시킨다는 것을 실증적으로 검증하기 위해.
• 이론적 정확도 및 안정성 한계를 통해 정규화 파라미터의 선택을 안내하기 위해.

제안 방법

• 기존의 최적화 문제로 표현된 공정 분류 알고리즘에 안정성 중심의 정규화 항을 목적 함수에 추가하여 확장한다.
• 균일한 안정성(Uniform stability)을 핵심 측정 기준으로 삼으며, 이는 한 샘플이 다른 한 데이터셋과 다를 경우에 발생하는 분류기 간의 위험도 차이의 l∞-거리 최대값으로 정의된다.
• 균일한 안정성 이론에 기반한 정규화를 적용하며, 손실 함수에 대한 온건한 가정 하에 이론적 분석을 통해 안정성 보장이 Õ(1/(λN))임을 보여준다.
• 안정성과 기대 위험 간의 관계를 연결하는 일반화 한계를 유도하며, 경험 위험과 진짜 위험 간의 기대 차이가 Õ(1/(λN))임을 보여준다.
• 다양한 정규화 파라미터 λ를 사용하여 Adult 데이터셋에서 KAAS, ZVRG, GYF 기반 분류기로 프레임워크를 실증적으로 평가한다.
• 50회의 랜덤 훈련-테스트 분할에 걸쳐 공정성 지표(γ)의 표준편차를 안정성 측정 지표로 사용하며, 정확도와 공정성의 상호 간 상충 관계를 보고한다.

실험 결과

연구 질문

• RQ1 정확도나 공정성에 악영향을 주지 않으면서 공정 분류 알고리즘의 균일한 안정성을 향상시키기 위해 정규화 항을 설계할 수 있는가?
• RQ2 확장된 프레임워크에 대해 도출할 수 있는 이론적 안정성 보장은 무엇이며, 이는 정규화 파라미터 λ와 훈련 세트 크기 N에 어떻게 의존하는가?
• RQ3 제안된 프레임워크는 실생활에서 정확도, 공정성, 안정성 간의 상호 간 상충 관계에 어떤 영향을 미치는가?
• RQ4 이론적 정확도 한계는 실세계 응용에서 정규화 파라미터 선택에 어떻게 기여할 수 있는가?
• RQ5 이 프레임워크는 다양한 공정성 지표와 민감 속성에 대해 안정성 향상이 일관되게 이루어지는가?

주요 결과

• 제안된 프레임워크는 Õ(1/(λN))의 이론적 안정성 보장을 달성하며, 선형 모델의 경우 더 날카운 안정성 한계 Õ(1/√N)를 갖는다.
• 정규화로 인한 경험 위험 증가는 Õ(1/√N)로 제한되며, 이는 정규화 파라미터 λ의 합리적 선택을 가능하게 한다.
• 실증적으로 공정성 지표 γ의 표준편차는 정규화 적용 전 4.1%에서 약 1%로 감소하여 안정성 향상을 확인할 수 있다.
• 모든 테스트된 알고리즘(KAAS-St, ZVRG-St, GYF-St)에서 정규화 도입으로 안정성 지표(stab)가 최대 50% 감소하였다.
• 성별 속성에 대해 ZVRG-St를 사용할 경우, λ=0.03이 λ=0.05보다 정확도, 공정성, 안정성의 상호 간 상충 관계에서 더 우수한 성능을 보였으며, 이는 비단조화적 행동을 보이며 철저한 하이퍼파rameter 튜닝이 필요함을 시사한다.
• 기본 모델 대비 유사하거나 더 우수한 공정성을 유지하며, 동일한 λ 조건에서 KAAS-St와 GYF-St의 γ 값은 ZVRG-St보다 항상 낮았다.