[논문 리뷰] Proxy Fairness

Maya R. Gupta, Andrew Cotter외 2명|arXiv (Cornell University)|2018. 06. 28.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

이 논문은 보호 그룹 레이블이 가용하지 않을 때 기계 학습 모델의 공정성 향상을 위한 프록시 공정성 방법을 제안한다. 진정한 민감 그룹과 관련성이 있는 프록시 그룹에서 공정성 지표를 최적화함으로써 실제 보호 그룹에 대한 공정성 향상이 이루어지지만, 이는 지표 선택과 진정한 그룹과의 프록시 일치도에 따라 달라진다.

ABSTRACT

We consider the problem of improving fairness when one lacks access to a dataset labeled with protected groups, making it difficult to take advantage of strategies that can improve fairness but require protected group labels, either at training or runtime. To address this, we investigate improving fairness metrics for proxy groups, and test whether doing so results in improved fairness for the true sensitive groups. Results on benchmark and real-world datasets demonstrate that such a proxy fairness strategy can work well in practice. However, we caution that the effectiveness likely depends on the choice of fairness metric, as well as how aligned the proxy groups are with the true protected groups in terms of the constrained model parameters.

연구 동기 및 목표

• 학습 또는 추론 중에 보호 그룹 레이블이 확보되지 않을 때 기계 학습에서의 공정성 향상을 해결하는 것.
• 프록시 그룹에서 공정성 지표를 최적화하는 것이 진정한 민감 그룹의 공정성 향상으로 이어지는지 탐색하는 것.
• 프록시 공정성이 효과적인 조건, 특히 지표 선택과 프록시 그룹의 진정한 그룹과의 일치도에 대해 조사하는 것.
• 민감 속성 데이터가 확보되지 않거나 제한되는 실세계 상황에서 공정성 향상의 실용적 전략을 제공하는 것.

제안 방법

• 진정한 보호 그룹과 관련성이 있는 대체 표현으로서 프록시 그룹을 정의하고, 이는 데이터에 존재해야 한다.
• 학습 또는 校정 중에 이러한 프록시 그룹에서 공정성 지표(예: 동등 기회, 균형된 오차)를 최적화한다.
• 프록시 그룹의 공정성으로 제약을 가한 모델 파라미터를 통해 진정한 보호 그룹의 공정성 향상을 간접적으로 달성한다.
• 다양한 공정성 지표가 프록시 공정성의 진정한 그룹으로의 전이 가능성에 미치는 영향을 평가한다.
• 파rameter 공간 분석과 상관 계수 지표를 통해 프록시 그룹과 진정한 보호 그룹 간의 일치도를 평가한다.
• 데이터 부족 조건 하에서의 실증적 타당성을 확보하기 위해 벤치마크 및 실세계 데이터셋에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 프록시 그룹에서 공정성 최적화가 진정한 보호 그룹의 공정성 향상에 측정 가능한 영향을 미칠 수 있는가?
• RQ2 공정성 지표 선택이 프록시 공정성의 효과성에 어떤 영향을 미치는가?
• RQ3 프록시 그룹과 진정한 보호 그룹 간의 일치도가 공정성 전이에 얼마나 큰 영향을 미치는가?
• RQ4 보호 속성 레이블이 없는 상황에서 프록시 공정성은 모델의 성능과 유용성을 유지하면서 공정성을 향상시키는가?

주요 결과

• 프록시 그룹이 진정한 보호 그룹과 충분히 일치할 경우, 프록시 공정성이 진정한 민감 그룹의 공정성 향상에 효과적으로 기여한다.
• 프록시 공정성의 효과성은 최적화 과정에서 사용된 공정성 지표의 선택에 매우 의존한다.
• 프록시 그룹에서 공정성 최적화를 수행한 모델은 벤치마크 및 실세계 데이터셋 모두에서 진정한 보호 그룹의 공정성 지표에서 측정 가능한 향상을 보였다.
• 프록시 그룹과 진정한 그룹 간의 일치도가 떨어지면 공정성 향상이 미미하거나 전혀 이루어지지 않아, 프록시의 품질의 중요성을 강조한다.
• 이 방법은 모델 성능과 유용성을 유지하며, 정확도나 예측 능력에 상당한 트레이드오프 없이 공정성 향상을 달성한다.
• 파rameter 공간 분석을 통해 프록시 공정성에서 유도된 제약을 가한 모델 파라미터가 잘 선택된 지표일수록 진정한 그룹의 공정성으로 의미적으로 전이됨을 확인했다.