[논문 리뷰] Model-Agnostic Private Learning via Stability

Raef Bassily, Om Thakkar외 1명|arXiv (Cornell University)|2018. 03. 14.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 7

한 줄 요약

이 논문은 모델에 종속되지 않는 차별적(private) 학습 알고리즘을 소개하며, 모델 특화 설계 없이도 정확하고 비밀 보장이 보장된 온라인 분류 쿼리에 대한 예측을 생성한다. 학습 알고리즘의 안정성 특성—특히 평균 케이스 안정성—을 활용하여, 비공개 학습자에 가까운 유틸리티를 달성하며, 샘플 복잡도는 모델 복잡도에 관계없이 쿼리 수와 VC 차원에만 의존한다.

ABSTRACT

We design differentially private learning algorithms that are agnostic to the learning model. Our algorithms are interactive in nature, i.e., instead of outputting a model based on the training data, they provide predictions for a set of $m$ feature vectors that arrive online. We show that, for the feature vectors on which an ensemble of models (trained on random disjoint subsets of a dataset) makes consistent predictions, there is almost no-cost of privacy in generating accurate predictions for those feature vectors. To that end, we provide a novel coupling of the distance to instability framework with the sparse vector technique. We provide algorithms with formal privacy and utility guarantees for both binary/multi-class classification, and soft-label classification. For binary classification in the standard (agnostic) PAC model, we show how to bootstrap from our privately generated predictions to construct a computationally efficient private learner that outputs a final accurate hypothesis. Our construction - to the best of our knowledge - is the first computationally efficient construction for a label-private learner. We prove sample complexity upper bounds for this setting. As in non-private sample complexity bounds, the only relevant property of the given concept class is its VC dimension. For soft-label classification, our techniques are based on exploiting the stability properties of traditional learning algorithms, like stochastic gradient descent (SGD). We provide a new technique to boost the average-case stability properties of learning algorithms to strong (worst-case) stability properties, and then exploit them to obtain private classification algorithms. In the process, we also show that a large class of SGD methods satisfy average-case stability properties, in contrast to a smaller class of SGD methods that are uniformly stable as shown in prior work.

연구 동기 및 목표

• 모델 차원 또는 특징 공간 크기에 따라 샘플 복잡도가 높아지는 전통적인 차별적 학습자의 높은 샘플 복잡도 문제를 해결한다.
• 초기 단계에서 단일 모델을 확정하지 않고도 온라인 분류 쿼리에 대한 비밀 보장 프레임워크를 개발한다.
• 모델에 종속되지 않은 비공개 학습자를 블랙박스로 사용할 수 있도록 하여 유틸리티를 유지하면서도 차별적 비밀 보장을 보장한다.
• VC 차원과 쿼리 수에만 의존하는, 애그노스틱 PAC 모델에서의 공식 샘플 복잡도 경계를 제공한다.
• 볼록성 대신 안정성을 활용하여 비볼록 설정에서의 비밀 학습을 위한 새로운 이론적 기반을 구축한다.

제안 방법

• 개인 데이터셋의 서로 다른 무작위 부분집합에 대해 훈련된 모델의 앙상블을 사용하여 예측이 모델 간 일관된 특징 벡터를 식별한다.
• 거리-불안정성 프레임워크와 희소 벡터 기법을 새로운 방식으로 결합하여 일관된 쿼리에 대해 비밀 보장 예측을 공개한다.
• 학습 알고리즘의 평균 케이스 안정성(예: SGD)을 활용하고, 순열 기반 추론을 통해 이를 최악의 경우 안정성으로 강화한다.
• 여러 모델이 일치하는 특징 벡터에 대해 레이블을 공개하는 비밀 보장 예측 메커니즘을 구축하여, 비밀 비용을 최소화한다.
• 후처리를 통해 비밀 보장 예측 레이블에서 최종적으로 공개 가능한 모델을 훈련시켜, 엔드 투 엔드 비밀 보장을 유지한다.
• 안정성과 희소 벡터 기법에서 유도된 차별적 비밀 보장 보장을 통해 비밀 보장을 증명하며, 오차와 샘플 복잡도에 대한 공식 경계를 제시한다.

실험 결과

연구 질문

• RQ1 기본 모델 아키텍처나 학습 절차에 종속되지 않는 차별적 학습 알고리즘을 설계할 수 있는가?
• RQ2 차원에 따라 샘플 복잡도가 증가하는 비용을 지불하지 않고도 비공개 학습자에 가까운 유틸리티를 달성할 수 있는가?
• RQ3 학습 알고리즘의 안정성 특성—특히 평균 케이스 안정성—을 활용하여 비밀 예측 메커니즘을 설계할 수 있는가?
• RQ4 볼록성 가정 없이도 계산적으로 효율적인 레이블 비밀 학습자가 애그노스틱 PAC 모델에서 가능할 수 있는가?
• RQ5 비일관된(‘나쁜’) 쿼리의 수를 전체 샘플 복잡도와 공식적으로 연결할 수 있는가?

주요 결과

• 제안된 프레임워크는 샘플 복잡도가 모델 복잡도나 입력 차원에 관계없이 비일관된 쿼리 수와 VC 차원에만 의존함을 보였다.
• 이진 및 다중 클래스 분류에서, 이 방법은 공식적인 차별적 비밀 보장과 유틸리티 보장을 제공하며, 비공개 학습자와 비슷한 오차를 기록한다.
• 이 연구는 애그노스틱 PAC 모델에서 계산적으로 효율적인 레이블 비밀 학습자의 첫 번째 구성 방법을 제시하였으며, 샘플 복잡도 상한이 비공개 기준과 로그 인자 정도만 다를 뿐이다.
• SGD 기반의 다수의 방법이 평균 케이스 안정성을 만족함을 입증하였으며, 이는 이전 연구에서 유일하게 안정적인 SGD 변종만을 규명한 것과는 달리 보다 광범위한 적용 가능성을 보여준다.
• 이 기법은 반감지 지식 전이(semi-supervised knowledge transfer)를 가능하게 하며, 비밀 보장 예측 레이블을 사용해 최종적으로 비밀 보장 예측 모델을 훈련시킬 수 있다.
• 이론적 분석을 통해 앙상블의 모델들이 일치하는 특징 벡터에서는 비밀 비용이 거의 0에 가까워지며, 이는 최소한의 노이즈로도 고유티 예측이 가능함을 보여준다.