[논문 리뷰] To Split or Not to Split: The Impact of Disparate Treatment in Classification

Hao Wang, Hsiang Hsu외 2명|arXiv (Cornell University)|2020. 02. 12.

Machine Learning and Algorithms참고 문헌 91인용 수 7

한 줄 요약

이 논문은 정의된 분류기—각 민감 그룹별로 별도의 모델을 훈련하는 방식—가 공정한 기계학습에서 그룹 무관 분류기보다 성능을 향상시키는 조건을 조사한다. '분할의 이점' 메트릭을 도입하고, 볼록 최적화를 통해 계산 가능한 경계를 증명하며, 레이블링 함수가 다를 때와 그룹 분포가 유사할 때 분할이 최대한의 성과 향상을 이룬다는 것을 보여주며, 데이터가 부족한 환경에서 윤리적이고 고정확도의 모델 설계를 위한 이론적 지침을 제공한다.

ABSTRACT

Disparate treatment occurs when a machine learning model yields different decisions for individuals based on a sensitive attribute (e.g., age, sex). In domains where prediction accuracy is paramount, it could potentially be acceptable to fit a model which exhibits disparate treatment. To evaluate the effect of disparate treatment, we compare the performance of split classifiers (i.e., classifiers trained and deployed separately on each group) with group-blind classifiers (i.e., classifiers which do not use a sensitive attribute). We introduce the benefit-of-splitting for quantifying the performance improvement by splitting classifiers. Computing the benefit-of-splitting directly from its definition could be intractable since it involves solving optimization problems over an infinite-dimensional functional space. Under different performance measures, we (i) prove an equivalent expression for the benefit-of-splitting which can be efficiently computed by solving small-scale convex programs; (ii) provide sharp upper and lower bounds for the benefit-of-splitting which reveal precise conditions where a group-blind classifier will always suffer from a non-trivial performance gap from the split classifiers. In the finite sample regime, splitting is not necessarily beneficial and we provide data-dependent bounds to understand this effect. Finally, we validate our theoretical results through numerical experiments on both synthetic and real-world datasets.

연구 동기 및 목표

• 분류기 분할이 예측 정확도 측면에서 그룹 무관 분류기보다 우월한 조건을 규명하는 것.
• 새로운 메트릭인 '분할의 이점'을 사용해 분류기 분할의 성능 향상을 정량화하는 것.
• ℓ₁ 및 교차 엔트로피와 같은 표준 손실 함수에 대해, '분할의 이점'에 대한 날카로운 상한 및 하한 경계를 설정하는 것.
• 표본 수와 모델 복잡도를 고려한 유한 표본 효과를 분석하고, 데이터 기반 경계를 제공하는 것.
• 합성 및 실세계 데이터셋에서의 수치 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• 분할된 분류기와 그룹 무관 분류기를 비교하는 성능 메트릭으로서 '분할의 이점'을 도입하고, 이는 기본 데이터 분포 위에서 정의된다.
• 소규모 볼록 프로그래밍을 사용해 '분할의 이점'의 등가 표현을 유도함으로써, 무한 차원 최적화 문제를 해결하는 대신 효율적인 계산을 가능하게 한다.
• 최적의 레이블링 함수 간의 불일치와 비라벨링 그룹 분포 간의 총 변동 거리라는 두 가지 핵심 요소를 바탕으로 '분할의 이점'에 대한 날카로운 상한 및 하한 경계를 수립한다.
• 표본 유한 영역을 분석하기 위해 표본 제한 분할 측정치 ẑ_split을 도입하고, 그 기호와 크기에 대한 데이터 기반 상한 및 하한 경계를 제공한다.
• 정보 이론적 분석과 f-분산 기반 추론을 활용해, 분할이 비트리비얼한 성능 향상을 가져오는 조건을 특성화한다.
• 합성 및 실세계 데이터셋에서의 수치 실험을 통해 이론적 결과를 검증하며, 다양한 가설 클래스(예: 로지스틱 회귀, 결정 트리) 간의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 모델 성능 측면에서 다양한 민감 그룹에 대해 별도의 분류기를 훈련하는 것이 언제 유익한가?
• RQ2 분할된 분류기가 평균 성능 측면에서 그룹 무관 분류기보다 뛰어나지 않는 정확한 조건은 무엇인가?
• RQ3 이론적으로 엄밀한 방식으로 분할의 성능 향상을 어떻게 정량화하고 경계화할 수 있는가?
• RQ4 유한 표본 영역에서 분할의 이점은 어떻게 영향을 받는가? 특히 데이터가 적거나 불균형한 설정에서 말이다.
• RQ5 레이블링 함수의 차이와 라벨이 없는 그룹 분포의 차이가 분할의 잠재적 성과 향상에 미치는 역할은 무엇인가?

주요 결과

• 이론적 경계와 그림 1에 시각화된 바와 같이, 최적의 레이블링 함수가 서로 크게 다를 때와 비라벨링 분포가 유사할 때 '분할의 이점'이 최대가 된다.
• '분할의 이점'의 상한은 최적의 분류기가 유사할 경우 최소한의 성과 향상을 보이며, 이는 일부 데이터셋(예: 그림 3의 수평 점선 이하)에서 분할로 인한 향상이 제한적임을 설명한다.
• 하한은 레이블링 함수가 다를 때와 비라벨링 분포가 유사할 경우 분할이 상당한 성능 향상을 제공함을 드러내며, 이는 그림 3의 노란색 영역 내에서 ID 122와 1169의 데이터셋에서 관찰된다.
• 레이블링 함수와 비라벨링 분포가 모두 다를 경우, 경계로부터는 분할의 이점이 결정되지 않으며, 이는 모델 복잡도에 따라 달라진다—복잡도가 높을수록 분할의 이점이 감소할 수 있다.
• 유한 표본에서는 분할이 반드시 도움이 되는 것은 아니다; 표본 제한 분할 측정치 ẑ_split은 음수가 될 수 있으며, 이는 잠재적인 해로움을 의미하며, 그 기호는 표본 크기와 분포 이동에 따라 달라진다.
• 수치 실험 결과는 이론적 조건이 충족될 경우 분할이 비트리비얼한 성과 향상을 가져오며, 특히 모델이 복잡한 경우(예: 결정 트리)에서는 모호한 경우에 성과 향상이 감소함을 확인한다.