[논문 리뷰] On the Privacy Risks of Algorithmic Fairness

Hongyan Chang, Reza Shokri|arXiv (Cornell University)|2020. 11. 07.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 6

한 줄 요약

이 논문은 기계 학습에서 그룹 형평성을 도입함으로써 유발되는 프라이버시 위험을 조사하며, 형평성 제약 조건이 특히 불리한 하위군에 대해 정보 泄露를 증가시켜 회원 식별 공격을 통해 위험을 증가시킨다는 것을 보여준다. 동일한 기회 원칙을 적용하여 모델을 훈련함으로써, 형평성은 표현이 부족한 군집의 기억을 강화함으로써 그들의 프라이버시 위험을 높이며, 이는 편향을 줄이려는 목표에도 불구하고 발생한다.

ABSTRACT

Algorithmic fairness and privacy are essential pillars of trustworthy machine learning. Fair machine learning aims at minimizing discrimination against protected groups by, for example, imposing a constraint on models to equalize their behavior across different groups. This can subsequently change the influence of training data points on the fair model, in a disproportionate way. We study how this can change the information leakage of the model about its training data. We analyze the privacy risks of group fairness (e.g., equalized odds) through the lens of membership inference attacks: inferring whether a data point is used for training a model. We show that fairness comes at the cost of privacy, and this cost is not distributed equally: the information leakage of fair models increases significantly on the unprivileged subgroups, which are the ones for whom we need fair learning. We show that the more biased the training data is, the higher the privacy cost of achieving fairness for the unprivileged subgroups will be. We provide comprehensive empirical analysis for general machine learning algorithms.

연구 동기 및 목표

• 기계 학습에서 그룹 형평성을 강제할 경우 훈련 데이터의 프라이버시 위험이 증가하는지 조사하는 것.
• 형평성 제약 조건이 개인에 대한 정보 泄露에 어떻게 영향을 미치는지, 특히 표현이 부족하거나 불리한 하위군에서 어떻게 영향을 미치는지 분석하는 것.
• 형평성이 적용될 경우 다양한 인구 통계적 군집 간의 프라이버시 위험 격차를 평가하는 것.
• 공정한 모델에서 프라이버시 위험을 더 잘 포착할 수 있는 하위군 인식 기반 회원 식별 공격 전략을 개발하고 검증하는 것.
• 특히 훈련 데이터가 편향되어 있을 경우 형평성과 프라이버시 사이의 트레이드오프를 입증하는 것.

제안 방법

• 저자들은 모델의 정보 泄露를 측정하기 위해 회원 식별 공격을 사용하며, 악성 공격자가 데이터 포인트가 훈련 세트에 포함되었는지 여부를 얼마나 잘 식별할 수 있는지 측정한다.
• 각 보호 대상 하위군에 대해 별도의 식별기(구분기)를 훈련시키는 하위군 특화 회원 식별 공격 전략을 제안하며, 단일 글로벌 식별기를 사용하는 것과 대비된다.
• 이 방법은 모델 예측 결과만 관찰 가능한 블랙박스 환경에서 프라이버시 위험을 평가한다. 내부 파rameter나 기울기 정보는 노출되지 않는다.
• 합성 데이터, Law School, Bank Marketing, COMPAS 등의 다양한 데이터셋을 사용해, 동일한 기회 원칙을 적용한 공정한 모델과 제약이 없는 모델을 비교한다.
• 실증 평가에서는 공격 정확도를 메트릭으로 사용해 프라이버시 위험을 정량화하며, 하위군 수준의 분석을 통해 격차를 탐지한다.
• 실제 세계 데이터셋에 프레임워크를 적용하여 합성 환경 외부에서도 결과의 타당성을 검증하며, 데이터 편향과 모델 형평성 간의 상호작용에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 기계 학습에서 그룹 형평성을 강제할 경우 훈련 데이터에 대한 회원 식별 공격 위험이 증가하는가?
• RQ2 특히 불리한 하위군에서 공정한 모델의 프라이버시 위험은 어떻게 다른가?
• RQ3 훈련 세트의 데이터 편향과 형평성 달성에 따른 프라이버시 비용 간의 관계는 무엇인가?
• RQ4 하위군 특화 회원 식별 공격 전략은 글로벌 식별기보다 공정한 모델에서 더 높은 프라이버시 위험을 탐지할 수 있는가?
• RQ5 형평성 강제가 표현이 부족한 군집의 기억을 증가시켜 그들의 프라이버시 노출을 증가시키는 정도는 어느 정도인가?

주요 결과

• 공정한 모델은 표현이 부족한 하위군에 대해 제약이 없는 모델보다 유의미하게 높은 프라이버시 위험을 보이며, 이는 그들의 훈련 데이터에 대한 기억 증가 때문이다.
• 기본 훈련 데이터가 더 편향되어 있을수록 형평성의 프라이버시 비용이 더 높으며, 이는 형평성과 프라이버시 사이의 직접적인 트레이드오프를 시사한다.
• 형평성 기준(동일한 기회 원칙 기준)에서 더 공정한 모델일수록 불리한 하위군에 대해 더 높은 프라이버시 위험을 초래한다.
• 하위군 특화 회원 식별 공격 전략은 글로벌 식별기보다 더 높은 정확도를 기록하며, 이는 공정한 모델에서 정보 泄露를 측정하는 데 더 효과적이라는 것을 입증한다.
• 평균 프라이버시 위험이 낮더라도, 불리한 군집의 개별 기록은 특히 소규모 또는 복잡한 하위군일 경우 뚜렷이 더 높은 노출 위험을 겪는다.
• 이 연구는 형평성 제약 조건이 보호를 목표로 하는 그룹 자체에 비해 비례적으로 더 높은 프라이버시 위험을 초래할 수 있으며, 이는 윤리적인 AI 목표를 뒷받침하지 못한다는 점을 확인한다.