[논문 리뷰] Maximum Weighted Loss Discrepancy

Fereshte Khani, Aditi Raghunathan외 1명|arXiv (Cornell University)|2019. 06. 08.

Mathematical Approximation and Integration참고 문헌 23인용 수 6

한 줄 요약

이 논문은 최대 가중 손실 이질성(MWLD)을 도입하여, 그룹 손실과 전체 손실 간의 최악의 가중 차이를 정량화하는 군집 공정성 측도를 제안한다. MWLD는 유한한 표본에서 효율적으로 추정 가능하며, 손실 분산과 밀접한 관련이 있으며, 손실 분산에 대한 정규화는 네 개의 공정성 데이터셋에서 평균 정확도에 큰 영향을 주지 않으면서 MWLD를 최대 50% 감소시킨다.

ABSTRACT

Though machine learning algorithms excel at minimizing the average loss over a population, this might lead to large discrepancies between the losses across groups within the population. To capture this inequality, we introduce and study a notion we call maximum weighted loss discrepancy (MWLD), the maximum (weighted) difference between the loss of a group and the loss of the population. We relate MWLD to group fairness notions and robustness to demographic shifts. We then show MWLD satisfies the following three properties: 1) It is statistically impossible to estimate MWLD when all groups have equal weights. 2) For a particular family of weighting functions, we can estimate MWLD efficiently. 3) MWLD is related to loss variance, a quantity that arises in generalization bounds. We estimate MWLD with different weighting functions on four common datasets from the fairness literature. We finally show that loss variance regularization can halve the loss variance of a classifier and hence reduce MWLD without suffering a significant drop in accuracy.

연구 동기 및 목표

• 기타 인구 통계적 군집 간 손실 차이가 크며, 그룹 정보가 가용하지 않은 경우에도 기계 학습 모델에서 발생하는 문제를 해결하기 위해.
• 모든 군집에 대해 그룹 손실과 전체 손실 간의 최대 가중 차이를 캡처하는 새로운 공정성 지표인 최대 가중 손실 이질성(MWLD)을 정식화하기 위해.
• MWLD의 이론적 성질을 확립하여 통계적 추정 가능성과 일반화 및 강건성과의 관계를 규명하기 위해.
• 손실 분산과 군집 손실 분산을 활용한 효율적인 추정 및 정규화 기법을 개발하고 검증하기 위해.
• 손실 분산 정규화가 MWLD를 감소시키면서도 모델 정확도를 유지하거나 향상시키는 것으로 실험적으로 입증하기 위해.

제안 방법

• MWLD를 정의하여, 모든 군집에 대해 그룹 손실과 전체 손실 간의 가중 절대 차이의 Supremum으로 정의한다.
• 유한한 표본에서 MWLD를 효율적이고 일致하게 추정할 수 있도록 하는 감쇠 가중 함수의 가족 $ w^k(g) = \mathbb{E}[g]^k $ 을 도입한다.
• MWLD와 손실 분산 간의 이론적 연결을 확립하여, $ \text{MWLD}(w^{1/2}) $ 가 손실 분산의 상한 및 하한을 제공함을 보여준다.
• 사전 정의된 민감한 군집 조합에 대해 정규화가 가능하도록 하는 확장된 개념인 군집 손실 분산(Coarse Loss Variance, CLV)을 제안한다.
• 모델 학습과 MWLD 감소를 위해 손실 분산(LV) 및 군집 손실 분산(CLV)에 대한 정규화를 포함한 경험적 리스크 최소화 기법을 적용한다.
• 격자 탐색을 통해 정규화 하이퍼파rameter $ \lambda $ 를 튜닝하고, 네 개의 공정성 벤치마크 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 MWLD는 유한한 데이터에서 일致하게 추정될 수 있는가? 어떤 조건에서 가능한가?
• RQ2 MWLD는 일반화 및 강건성과 어떻게 관련되어 있으며, 특히 인구 통계적 이동이 발생할 경우 어떻게 영향을 받는가?
• RQ3 MWLD와 손실 분산 간의 관계는 무엇이며, 이 연결 고리를 정규화에 활용할 수 있는가?
• RQ4 손실 분산 또는 군집 손실 분산에 대한 정규화가 MWLD를 효과적으로 감소시키며 모델 정확도를 손상시키지 않는가?
• RQ5 다양한 가중 함수 $ w^k $ 는 MWLD의 수렴 및 해석에 어떤 영향을 미치는가?

주요 결과

• 손실 분산 정규화는 분류기의 손실 분산을 최대 50% 감소시켜 MWLD를 크게 감소시키며 평균 정확도에 거의 영향을 주지 않는다.
• 같은 목표 MWLD 값에서 군집 손실 분산 정규화는 표준 손실 분산 정규화보다 더 낮은 평균 오차(0.415)를 달성하여 더 강력한 상한을 제공한다.
• 작은 $ k $ 값(예: $ k=0.5 $)을 가진 MWLD는 인구 값으로 수렴하는 데 더 느리며, 최대 이질성을 보이는 군집은 $ k $ 가 감소함에 따라 작아진다.
• 군집 손실 분산으로 정규화하면 민감한 속성 조합으로 이루어진 모든 군집에 대해 MWLD의 보장된 상한을 확보할 수 있다.
• COMPAS 데이터셋에서 CLV 정규화를 사용하면 최신 기술 수준의 방법과 유사한 공정성-정확도 트레이드오프를 달성하였으며, D-FNR 및 D-FPR 등의 공정성 지표가 향상되었다.
• 균일 가중치($ w^0 $) 하에서 MWLD의 플러그인 추정기는 통계적으로 일관되지 않지만, 감쇠 가중 함수 가족 $ w^k $ 에서는 일관성이 있음을 입증하여 신뢰할 수 있는 추정이 가능하다.