[논문 리뷰] Fairness Improvement with Multiple Protected Attributes: How Far Are We?

Zhenpeng Chen, Jie M. Zhang외 2명|arXiv (Cornell University)|2023. 07. 25.

Qualitative Comparative Analysis Research인용 수 4

한 줄 요약

이 논문은 여러 보호 특성에 걸쳐 기계학습을 위한 정의로운 개선 방법 11종을 평가하여, 한 특성에 대해 정의를 최적화할 경우 다른 특성의 정의가 악화되는 경향이 있음을 밝혀냈다. 이는 전체 시나리오의 최대 88.3%에 영향을 미치며, 성능(정확도)은 대부분 안정된 편이다. 연구는 교차적 특성에 걸친 정의 평가의 중요성을 강조하며, 단일 특성 기반 정의 측정법을 넘어서야 한다고 제기한다.

ABSTRACT

Existing research mostly improves the fairness of Machine Learning (ML) software regarding a single protected attribute at a time, but this is unrealistic given that many users have multiple protected attributes. This paper conducts an extensive study of fairness improvement regarding multiple protected attributes, covering 11 state-of-the-art fairness improvement methods. We analyze the effectiveness of these methods with different datasets, metrics, and ML models when considering multiple protected attributes. The results reveal that improving fairness for a single protected attribute can largely decrease fairness regarding unconsidered protected attributes. This decrease is observed in up to 88.3% of scenarios (57.5% on average). More surprisingly, we find little difference in accuracy loss when considering single and multiple protected attributes, indicating that accuracy can be maintained in the multiple-attribute paradigm. However, the effect on F1-score when handling two protected attributes is about twice that of a single attribute. This has important implications for future fairness research: reporting only accuracy as the ML performance metric, which is currently common in the literature, is inadequate.

연구 동기 및 목표

• 단일 보호 특성에 대해 설계된 정의 개선 방법이 동시에 다수의 보호 특성에 적용되었을 때의 영향을 조사하기 위해.
• 한 특성에 대해 정의를 개선할 경우 고려하지 않은 특성에서 뜻하지 않은 정의 악화가 발생하는지 평가하기 위해.
• 다수의 보호 특성에 대해 정의를 최적화할 경우 정밀도 및 재현율 측면에서 성능(정확도)과의 상충관계를 평가하기 위해.
• 다양한 데이터셋, 모델, 정의 측정법을 기반으로 11종의 최신 정의 개선 방법을 벤치마킹하여 교차적 정의 환경에서의 효과성을 이해하기 위해.

제안 방법

• 연구는 기계학습 및 소프트웨어공학 분야의 문헌에서 선별한 전처리, 인라인, 후처리 기법을 포함한 11종의 정의 개선 방법을 평가한다.
• 금융, 사회, 의료 분야에서 널리 사용되는 다섯 가지 데이터셋을 사용하여, 로지스틱 회귀, 랜덤 포레스트, 신경망 등 다양한 기계학습 모델을 적용한다.
• 정확도, 정밀도, 재현율을 포함한 15종의 정의-성능 측정 기준을 사용하며, 다수의 그룹 정의 측정법(예: 통계적 평등성 차이, 동등 기회 차이)을 포함한다.
• 교차적 정의 평가를 위해 보호 특성 조합으로 형성된 하위군 간 격차를 측정한다.
• 연구자들은 모든 보호 특성 간 정의 결과를 체계적으로 비교하여, 한 특성에 대해 최적화할 경우 다른 특성의 정의가 악화되는 경우를 식별한다.
• 정확도, 정밀도, 재현율의 변화를 측정하여 다수의 특성을 고려할 경우의 정의-성능 상충관계를 정량화한다.

실험 결과

연구 질문

• RQ1 여러 보호 특성이 존재할 경우 단일 보호 특성에 대해 정의를 개선할 때 고려하지 않은 다른 특성의 정의가 얼마나 악화되는가?
• RQ2 여러 보호 특성을 동시에 고려할 경우 정의 개선 방법의 교차적 정의 성능은 어떻게 되는가?
• RQ3 단일 특성 대비 다수의 보호 특성에 대해 정의를 최적화할 경우 모델 성능(정확도, 정밀도, 재현율)에 어떤 영향을 미치는가?
• RQ4 다양한 정의 측정법과 모델 아키텍처는 다중 특성 환경에서 정의-성능 상충관계에 어떻게 영향을 미치는가?

주요 결과

• 단일 보호 특성에 대해 정의를 개선할 경우, 평균적으로 57.5%의 시나리오에서 고려하지 않은 특성의 정의가 심각하게 악화되며, 전체 실험에서 최대 88.3%의 시나리오에서 그러한 현상이 발생한다.
• 정밀도와 재현율은 정확도보다 약 5배와 8배 더 큰 영향을 받으며, 다수의 특성을 고려할 경우 정의 악화가 특히 두드러진다.
• 다수의 보호 특성에 대해 정의를 최적화할 경우 성능 손실는 최소한으로 유지되며, 이는 성능 유지를 가능하게 한다.
• 현재의 정의 평가 관행(정확도에만 의존)은 다수 특성 환경에서 정밀도 및 재현율에 미치는 비례적 영향을 포착하지 못하므로 부적절하다.
• 관찰된 정의 악화의 배경에는 보호 특성 간 상호작용이 중요한 역할을 하며, 이는 특성 간 상관관계와 강하게 연관되어 있다.
• 11종의 방법을 벤치마킹한 결과, 어떤 방법도 모든 데이터셋과 측정법에서 일관되게 뛰어나지 않으며, 이는 맥락에 맞는 정의 선택의 필요성을 강조한다.