[논문 리뷰] A Fairness Analysis on Private Aggregation of Teacher Ensembles

Cuong Dinh Tran, My H. Dinh외 2명|arXiv (Cornell University)|2021. 09. 17.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 6

한 줄 요약

이 논문은 차별성 보장 기반 기계학습 프레임워크인 개인 정보 보호 기반 교사 앙상블 집합(PATE)에서의 공정성 불균형을 조사한다. PATE는 데이터 분포 및 모델 파라미터 특성으로 인해 다양한 인구 집단 간 정확도 손실이 비균형적으로 발생할 수 있음을 밝히며, 이를 완화하기 위해 소프트 레이블 집합 기법을 제안한다. 이는 모델 유틸리티를 희생시키지 않고도 특히 엄격한 개인정보 보호 제약 조건 하에서도 공정성을 향상시킨다.

ABSTRACT

The Private Aggregation of Teacher Ensembles (PATE) is an important private machine learning framework. It combines multiple learning models used as teachers for a student model that learns to predict an output chosen by noisy voting among the teachers. The resulting model satisfies differential privacy and has been shown effective in learning high-quality private models in semisupervised settings or when one wishes to protect the data labels. This paper asks whether this privacy-preserving framework introduces or exacerbates bias and unfairness and shows that PATE can introduce accuracy disparity among individuals and groups of individuals. The paper analyzes which algorithmic and data properties are responsible for the disproportionate impacts, why these aspects are affecting different groups disproportionately, and proposes guidelines to mitigate these effects. The proposed approach is evaluated on several datasets and settings.

연구 동기 및 목표

• PATE 프레임워크가 다양한 인구 집단 간 모델 정확도의 공정성 불균형을 유발하거나 악화시키는지 여부와 그 방식을 조사하는 것.
• 특히 데이터 분포 및 모델 파라미터 민감도와 같은 알고리즘적 및 데이터 수준의 요인들이 PATE에서 불균형 영향을 초래하는 방식을 규명하는 것.
• 차별성 보장 제약 조건 하에서도 비공정성이 발생하는 근본적 메커니즘을 이해하는 것.
• 학습 중 보호 대상 속성 레이블이 필요 없이 공정성 불균형을 감소시키는 완화 전략을 제안하는 것.
• 다양한 실세계 데이터셋과 다양한 개인정보 보호 예산 하에서 제안된 방법의 효과성을 평가하는 것.

제안 방법

• 저자는 개인 및 집단 수준의 예측 정확도에 대한 프라이버시의 직접적 영향을 측정하기 위해 과도한 리스크 기반의 공정성 지표를 도입한다.
• 모델 파라미터의 입력 데이터에 대한 민감도를 분석하여, 정규화 및 기울기 노름을 사용해 모델 민감도의 이론적 한계를 유도한다.
• 이 방법은 PATE에서 소프트 레이블 집합을 활용하며, 교사들이 하드 예측 대신 확률적 출력을 제공함으로써 노이즈 유도 오차를 감소시킨다.
• 이 접근법은 다양한 교사 수(k=20, 150)와 개인정보 보호 예산(ε)을 가진 네 가지 벤치마크 데이터셋(Bank, Credit Card, Income, Parkinsons)에서 실증적으로 평가된다.
• 완화 전략은 학습 중 보호 대상 속성에 접근할 필요가 없어, GDPR 준수 환경에 적합하다.
• 이론적 분석은 입력 노름 크기와 기울기 노름 민감도 간의 연결을 제시하여 고노름 입력이 왜 프라이버시 유도 정확도 손실에 더 취약한지 설명한다.

실험 결과

연구 질문

• RQ1 PATE에서 다양한 인구 집단 간 정확도 손실이 비균형적으로 발생하는 원인은 무엇이며, 차별성 보장이 이러한 불균형을 어떻게 악화시키는가?
• RQ2 데이터 분포 특성과 모델 파라미터 민감도는 개인 정보 보장 기반 앙상블 학습에서 불공정성을 어떻게 초래하는가?
• RQ3 왜 소수 집단은 PATE의 노이즈가 많은 투표 메커니즘으로 인해 특히 더 큰 영향을 받는가?
• RQ4 소프트 레이블 집합은 보호 대상 속성 접근 없이도 PATE의 공정성 불균형을 감소시킬 수 있는가?
• RQ5 제안된 완화 전략은 다양한 데이터셋과 개인정보 보호 예산 하에서 공정성을 얼마나 향상시키는가?

주요 결과

• PATE는 다수 집단과 少수 집단 간에 심각한 정확도 불균형을 유발하며, 개인정보 보호 예산(ε)이 높을수록 과도한 리스크 차이가 증가한다.
• 입력 노름 크기와 기울기 노름 민감도 사이에 강한 정적 상관관계가 발견되어, 고노름 입력이 왜 프라이버시 유도 오류에 더 취약한지 설명한다.
• 소프트 레이블 집합을 통한 PATE는 하드 레이블 학습 대비 평균적으로 데이터셋 간에 소수 집단과 다수 집단 간 과도한 리스크 차이를 최대 40% 감소시킨다.
• 완화 전략은 보호 대상 속성이 학습 중에 가용하지 않을 경우에도 모델 정확도를 유지하거나 향상시키며 공정성 불균형을 크게 감소시킨다.
• 모델 민감도의 이론적 상한선은 실증 관측치와 밀도적으로 일치하여, 공정성 리스크를 규명하는 데 사용된 분석 프레임워크의 타당성을 검증한다.
• 공정성 열화 현상은 데이터 불균형에 국한되지 않으며, 이는 PATE 메커니즘의 내재적 특성과 데이터 분포에 기인한 것으로 나타난다.