[논문 리뷰] Does enforcing fairness mitigate biases caused by subpopulation shift?

Subha Maity, Debarghya Mukherjee외 2명|arXiv (Cornell University)|2020. 11. 06.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 6

한 줄 요약

이 논문은 훈련 중에 위험 등분 기반 알고리즘적 공정성 강제가 타겟 도메인의 부분집단 이동으로 인한 성능 격차를 완화하는지 조사한다. 성능 격차는 이동의 구조에 따라 공정성 강제가 성능 향상 또는 저하를 초래할 수 있음을 보여주며, 일반화 성능 향상에 있어 공정성이 유의미해지는 정확한 조건을 도출하여, 단순한 등분을 넘어서 성능 영향을 기반으로 한 공정성 실천 평가를 위한 통계 기준을 제시한다.

ABSTRACT

Many instances of algorithmic bias are caused by subpopulation shifts. For example, ML models often perform worse on demographic groups that are underrepresented in the training data. In this paper, we study whether enforcing algorithmic fairness during training improves the performance of the trained model in the \emph{target domain}. On one hand, we conceive scenarios in which enforcing fairness does not improve performance in the target domain. In fact, it may even harm performance. On the other hand, we derive necessary and sufficient conditions under which enforcing algorithmic fairness leads to the Bayes model in the target domain. We also illustrate the practical implications of our theoretical results in simulations and on real data.

연구 동기 및 목표

• 훈련 중 알고리즘적 공정성을 강제함으로써 타겟 도메인의 부분집단 이동으로 인한 성능 격차를 완화하는지 조사하는 것.
• 분포 이동이 존재하는 상황에서 공정성 강제가 모델 성능 향상 또는 저하를 초래하는 조건을 규명하는 것.
• 타겟 도메인 성능에 대한 영향을 기반으로 한 공정성 실천 평가를 위한 통계 프레임워크를 제공하는 것.
• 위험 등분이 타겟 분포에서 일반화 성능 향상에 기여하는 데 필요한 필수 및 충분 조건을 도출하는 것.
• COMPAS 및 Adult와 같은 실제 데이터셋을 사용하여 이론적 결과를 시뮬레이션과 함께 검증하는 것.

제안 방법

• 저자는 부분집단 간 모델 성능의 요약으로 위험 프로파일을 도입하여, 공정성 제약 조건 하에서의 위험 최소화 분석을 가능하게 한다.
• 부분집단 이동을 공정성 제약와 수직인 복구 가능한 성분과 복구할 수 없는 성분으로 분해한다.
• 이론적 분석을 통해 위험 등분을 강제할 경우 타겟 도메인에서 베이즈 최적 모델에 도달하는 데 필요한 필수 및 충분 조건을 도출한다.
• 이 프레임워크는 이산적 및 연속적 민감 속성 모두에 적용되며, 보충 자료에서 확장 사항을 제공한다.
• 통제된 분포 이동 조건 하에서 이론적 결과를 검증하기 위해 시뮬레이션과 실제 데이터셋(COMPAS, Adult)을 사용한 실험을 수행한다.
• 조건부 위험 등분과 성능 등분을 공정성 제약 조건으로 사용하며, 보호 그룹 간 정확도 및 오류율 격차를 평가한다.

실험 결과

연구 질문

• RQ1 부분집단 이동 하에서 훈련 중 위험 등분을 강제할 경우, 타겟 도메인의 성능 향상이 이루어지는 조건은 무엇인가?
• RQ2 훈련 중 공정성 강제가 실제로 타겟 도메인의 성능을 악화시킬 수 있는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ3 데이터 이동의 어떤 구조적 특성이 공정성 강제가 일반화 성능 향상으로 이어지는지를 결정하는가?
• RQ4 단순한 등분을 넘어서 타겟 분포에서의 실제 성능 향상 여부를 기준으로 공정성 실천을 평가하는 방법은 무엇인가?
• RQ5 공정성 향상에 대한 이론적 조건이 복잡한 분포 이동을 포함한 실제 데이터에서 얼마나 잘 유지되는가?

주요 결과

• 훈련 중 위험 등분을 강제한다고 해서 반드시 타겟 도메인에서 성능 향상이 보장되지는 않으며, 이동의 구조가 유리하지 않으면 전체 성능에 악영향을 줄 수 있다.
• 타겟 도메인에서 베이즈 최적 모델에 도달하는 조건을 이론적으로 도출하여, 효과적인 공정성의 정확한 기준을 제공한다.
• COMPAS 데이터셋에서 공정한 분류기는 편향이 없는 타겟 분포 $P^{*}$ 에서 0.652의 정확도를 기록하여 기준 모델의 0.634보다 뛰어나 성과를 입증하였다.
• 동일한 데이터셋에서 기준 모델은 편향된 훈련 분포 $\widetilde{P}$ 에서 더 높은 성능(0.668 대비 0.660)을 기록하여 편향된 훈련 성능와 편향 없는 타겟 성능 사이의 상충관계를 확인하였다.
• 연구는 공정성 강제가 타겟 도메인에서 성능 향상으로 이어지기 위해서는 이동이 복구 가능하고 공정성 제약와 수직이어야 하며, 이는 정리 4.3에 의해 정형화되어 있음을 보여주었다.
• 결과는 공정성 실천이 단순히 훈련 데이터의 등분 여부가 아니라 타겟 도메인 성능에 대한 영향을 기반으로 평가되어야 하며, 이는 공정성 선택에 대한 통계적 근거를 제공한다.