[논문 리뷰] Unlocking Accuracy and Fairness in Differentially Private Image Classification

Leonard Berrada, Soham De외 7명|arXiv (Cornell University)|2023. 08. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 다양한 데이터셋(의료 영상 기준 평가도 포함)에서 차별적 개인 정보 보호 성능을 갖춘 대규모 사전 훈련된 시각 모델을 미세조정할 때, 비차별적 최상위 성능 모델에 비해 몇 퍼센트 내외의 정확도를 달성할 수 있음을 보여준다. 이는 민감한 응용 분야(예: 의료)에서 인구 통계적 하위군 간 성능 격차가 비차별적 모델과 비교해 유의미하게 증가하지 않음을 통해 공정성도 유지하고 있다.

ABSTRACT

Privacy-preserving machine learning aims to train models on private data without leaking sensitive information. Differential privacy (DP) is considered the gold standard framework for privacy-preserving training, as it provides formal privacy guarantees. However, compared to their non-private counterparts, models trained with DP often have significantly reduced accuracy. Private classifiers are also believed to exhibit larger performance disparities across subpopulations, raising fairness concerns. The poor performance of classifiers trained with DP has prevented the widespread adoption of privacy preserving machine learning in industry. Here we show that pre-trained foundation models fine-tuned with DP can achieve similar accuracy to non-private classifiers, even in the presence of significant distribution shifts between pre-training data and downstream tasks. We achieve private accuracies within a few percent of the non-private state of the art across four datasets, including two medical imaging benchmarks. Furthermore, our private medical classifiers do not exhibit larger performance disparities across demographic groups than non-private models. This milestone to make DP training a practical and reliable technology has the potential to widely enable machine learning practitioners to train safely on sensitive datasets while protecting individuals' privacy.

연구 동기 및 목표

• 차별적 개인 정보 보호 모델이 비차별적 모델에 비해 정확도가 크게 떨어지는 문제를 해결함으로써, 개인 정보 보호 기반 머신러닝의 구현을 위한 주요 장벽을 해결한다.
• 특히 의료와 같은 민감한 분야에서 차별적 개인 정보 보호 훈련이 하위 인구 집단 간 성능 격차를 악화시키는지 조사한다.
• 기초 모델을 DP-SGD로 미세조정함으로써, 조건 변화가 발생하더라도 높은 정확도와 공정성을 동시에 달성할 수 있음을 보여준다.
• 차별적 개인 정보 보호 훈련이 본질적으로 공정성을 악화시키지 않음을 경험적으로 입증함으로써, 개인 정보 보호와 공정성 간의 상충관계가 존재한다는 가정을 도전한다.

제안 방법

• 노이즈 스케일과 클리핑을 철저히 조정한 DP-SGD를 사용하여, 대규모 사전 훈련된 시각 모델(예: ViT, ResNet)을 하류 이미지 분류 작업에 대해 미세조정한다.
• 두 단계 훈련 프로토콜을 적용한다: 먼저 대규모 일반 데이터셋(예: ImageNet-1K)에서 사전 훈련을 수행하고, 이후 하류 데이터셋(예: CIFAR-10, CheXpert, MIMIC-CXR)에서 DP 제약 조건 하에 미세조정을 수행한다.
• 모멘츠 회계를 통해 개인 정보 보호 계약을 적용하며, 경제적 위험 최소화와 기울기 클리핑, 추가된 가우시안 노이즈를 사용하여 차별적 개인 정보 보호를 구현한다.
• 성별, 연령대 등 인구 통계적 하위군 간 성능 격차를 평가하기 위해 AUC 격차 지표를 사용하여 공정성 수준을 평가한다.
• 개인 정보 보호 예산 ε(예: ε = 1, 4, 8)를 체계적으로 변화시켜 정확도 및 클래스별 성능 순서에 미치는 영향을 분석한다.
• 데이터 불균형에 대한 분석을 위해 특정 클래스(예: CIFAR-10의 자동차 클래스)를 과소표본화하는 등의 조치를 취하여, 불균형과 DP의 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 기초 모델의 차별적 개인 정보 보호 미세조정이, 의료 영상 포함한 이미지 분류 작업에서 비차별적 최상위 성능 모델에 근접한 정확도를 달성할 수 있는가?
• RQ2 차별적 개인 정보 보호 훈련이 비차별적 모델에 비해 인구 통계적 하위군 간 성능 격차를 증가시키는가?
• RQ3 다양한 개인 정보 보호 예산 ε에 따라 클래스 간 상대적 난이도가 어떻게 변화하며, 이는 공정성 지표에 어떤 영향을 미치는가?
• RQ4 데이터 불균형이 DP 훈련과 상호작용하여 사전 훈련된 모델의 공정성 결과에 어떤 영향을 미치는가?
• RQ5 시각 모델의 아키텍처 및 훈련 선택을 통해 개인 정보 보호와 공정성 간의 상충관계를 완화할 수 있는가?

주요 결과

• DP-SGD로 미세조정된 사전 훈련된 모델은 의료 영상 기준 평가도 포함된 네 가지 데이터셋에서 비차별적 최상위 성능 모델에 비해 테스트 정확도가 2–4% 내외로 떨어지지만, 이는 매우 높은 성능을 유지한다.
• 의료 영상 작업에서 가장 정확도가 높은 사전 훈련된 모델은 성별, 연령대 등 인구 통계적 그룹 간 AUC 격차가 비차별적 모델과 유사한 수준을 유지하며, 이는 공정성의 유의미한 악화가 없음을 시사한다.
• ε = 8일 경우, 사전 훈련 데이터와 하류 데이터 간의 심각한 분포 변화가 발생하더라도, 비차별적 모델에 비해 전체 정확도가 몇 퍼센트 내외로 유지된다.
• DP-SGD 하에서 클래스별 정확도 순서는 ε에 대해 단조적이지 않다: 예를 들어, ε ≤ 4일 경우 사슴이 가장 낮은 성능을 보이나, ε ≥ 4일 경우 강아지가 더 낮은 성능을 보이며, 이는 개인 정보 보호 수준에 따라 상대적 난이도가 변화함을 나타낸다.
• 매우 불균형한 설정(예: CIFAR-10에서 자동차 클래스가 10%로 과소표현)에서는 사전 훈련된 모델이 과소표현된 클래스에서 성능이 떨어지지만, 이는 DP-SGD 자체의 본질적 특성이 아니며 불균형 정도에 따라 달라진다.
• 과소표현된 클래스에서 비차별적 모델과 사전 훈련된 모델 간 성능 격차는 항상 더 나쁘지 않으며, 중간 정도의 불균형(25–50%)에서는 동일한 총 정확도 수준에서 비차별적 모델과 유사한 클래스별 정확도를 달성한다.