[논문 리뷰] Differentially Private Algorithms for Empirical Machine Learning

Ben Stoddard, Yan Chen외 1명|arXiv (Cornell University)|2014. 11. 20.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 21

한 줄 요약

이 논문은 실세계 기계학습 워크플로우에서 특성 선택 및 ROC 곡선 구축을 위한 차별적 비밀유지 알고리즘을 제안하며, 개인 정보가 포함된 데이터셋에서 비밀유지 모델 훈련과 평가를 가능하게 한다. 비밀유지 전처리 및 새로운 노이즈 추가 기법을 적용함으로써 저자들은 분류기 정확도를 크게 향상시켰으며, 일부 경우에서는 비비밀유지 기준선과 동일한 성능을 달성했으며, 기능성 손실 없이 종단 간 차별적 비밀유지를 보장한다.

ABSTRACT

An important use of private data is to build machine learning classifiers. While there is a burgeoning literature on differentially private classification algorithms, we find that they are not practical in real applications due to two reasons. First, existing differentially private classifiers provide poor accuracy on real world datasets. Second, there is no known differentially private algorithm for empirically evaluating the private classifier on a private test dataset. In this paper, we develop differentially private algorithms that mirror real world empirical machine learning workflows. We consider the private classifier training algorithm as a blackbox. We present private algorithms for selecting features that are input to the classifier. Though adding a preprocessing step takes away some of the privacy budget from the actual classification process (thus potentially making it noisier and less accurate), we show that our novel preprocessing techniques significantly increase classifier accuracy on three real-world datasets. We also present the first private algorithms for empirically constructing receiver operating characteristic (ROC) curves on a private test set.

연구 동기 및 목표

• 실세계 기계학습 워크플로우에서 실용적인 차별적 비밀유지 특성 선택의 부족을 해결하기 위해.
• 개인 정보가 포함된 테스트 세트에서 ROC 곡선을 구축하기 위한 차별적 비밀유지 알고리즘을 개발하기 위해.
• 분류기 자체에만 비밀유지 예산을 할당하는 것이 아니라 전처리 단계에 할당함으로써 차별적 비밀유지 분류기의 정확도를 향상시키기 위해.
• 특성 선택, 모델 훈련, 평가를 포함한 전체 경험적 기계학습 워크플로우를 차별적 비밀유지 하에 구현하기 위해.
• 기존의 비밀유지 분류기(예: 나이브 베이즈, 로지스틱 회귀)를 블랙박스로 취급함으로써 전문가가 아닌 사용자에게도 사용 용이성을 높이기 위해.

제안 방법

• 비밀유지 임계값 테스트(PTT)를 제안하며, 이는 비밀유지 비교 쿼리에 대해 노이즈를 최소화하기 위한 신규 기법으로, 임계값 이상/이하 여부의 이진 결과만을 공개한다.
• 세 가지 비밀유지 특성 선택 방법을 도입한다: 개별 특성의 예측 점수를 흐리게 하고, 특성들을 군집화하며, PTT를 사용해 유의미도 임계값 기반으로 특성을 선택한다.
• ROC 곡선 생성을 위한 충분통계량을 한쪽 범위 쿼리로 모델링하여 전역 민감도를 감소시키고, 낮은 노이즈의 비밀유지 계산을 가능하게 한다.
• 비밀유지 ROC 곡선의 단조성 보장을 위해 후처리를 적용하여 유효성을 유지하면서도 비밀유지 보장을 손상시키지 않는다.
• 분류기 훈련을 블랙박스 방식으로 적용하여, 어떤 기존의 비밀유지 분류기(예: 나이브 베이즈, 로지스틱 회귀)와도 호환성을 확보한다.
• k-RecursiveMedians 및 기타 노이즈 메커니즘을 사용하여 비밀유지 하에서 강력한 추정을 수행하며, 최적 성능을 위해 k는 ⌈log n⌉로 설정한다.

실험 결과

연구 질문

• RQ1 실세계 데이터셋에서 차별적 비밀유지 특성 선택이 비밀유지 분류기의 정확도를 향상시킬 수 있는가?
• RQ2 민감한 정보 泄露 없이 개인 정보가 포함된 테스트 세트에서 수신기 작동 특성(ROC) 곡선을 비밀유지 방식으로 계산할 수 있는가?
• RQ3 비밀유지 예산의 일부를 전처리(특성 선택)에 할당하는 것이 직접 비밀유지 훈련보다 전체 모델 정확도를 높이는 데 기여하는가?
• RQ4 k-RecursiveMedians에서 k의 선택이 비밀유지 ROC 곡선 추정의 유효성에 어떤 영향을 미치는가?
• RQ5 비밀유지 임계값 테스트(PTT)가 SVT 및 noisycut와 같은 기존 기법보다 노이즈 효율성과 유효성 측면에서 뛰어나다는가?

주요 결과

• 세 개의 실세계 데이터셋에서 비밀유지 특성 선택이 분류기 정확도를 크게 향상시켰으며, 비비밀유지 기준선 수준에 가까운 성능을 달성했다.
• 제안된 비밀유지 임계값 테스트(PTT) 기법은 SVT 및 noisycut와 같은 경쟁 기법보다 더 날카운 비밀유지 경계를 확보하고 유효성 면에서 뛰어나다.
• 제안된 비밀유지 알고리즘을 사용해 생성된 ROC 곡선은 엄격한 차별적 비밀유지 조건 하에서도 높은 정밀도와 단조성을 유지한다.
• k-RecursiveMedians에서 k의 선택이 AUC 오차에 큰 영향을 주지 않아, ⌈log n⌉가 비밀유지 예산 할당에 있어 강력한 기본 설정임을 시사한다.
• 비밀유지 특성 선택 후 비밀유지 분류를 수행하는 것이 전체 특성 세트에 대한 직접 비밀유지 훈련보다 성능이 뛰어나, 다단계 비밀유지 워크플로우에서 전처리의 이점을 입증한다.
• 비밀유지 특성 선택과 비밀유지 ROC 평가의 조합은 민감한 데이터에서 전체 비밀유지 경험적 기계학습 워크플로우를 가능하게 한다.