[논문 리뷰] Differentially Private Online Learning

Prateek Jain, Pravesh K. Kothari외 1명|arXiv (Cornell University)|2011. 09. 01.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 17

한 줄 요약

이 논문은 온라인 볼록 프로그래밍(OCP) 환경에서 차별적(private) 온라인 학습을 달성하기 위한 일반적 프레임워크를 제안한다. 비공개 OCP 알고리즘을 하위선형 잔차(sub-linear regret)를 유지하면서 차별적(private) 변형으로 전환한다. IGD 및 GIGA 알고리즘의 비공개 버전을 도입하여 $ ilde{O}(ackslashackslashsqrtackslashackslash{ T })$의 잔차를 달성하고, 이중 비용 함수에 특화된 알고리즘을 통해 $O(\log^{1.5}T)$의 잔차를 달성한다. 또한 이 접근법을 오프라인 학습으로 확장하여 오류 한계를 향상시킨다.

ABSTRACT

In this paper, we consider the problem of preserving privacy in the online learning setting. We study the problem in the online convex programming (OCP) framework---a popular online learning setting with several interesting theoretical and practical implications---while using differential privacy as the formal privacy measure. For this problem, we distill two critical attributes that a private OCP algorithm should have in order to provide reasonable privacy as well as utility guarantees: 1) linearly decreasing sensitivity, i.e., as new data points arrive their effect on the learning model decreases, 2) sub-linear regret bound---regret bound is a popular goodness/utility measure of an online learning algorithm. Given an OCP algorithm that satisfies these two conditions, we provide a general framework to convert the given algorithm into a privacy preserving OCP algorithm with good (sub-linear) regret. We then illustrate our approach by converting two popular online learning algorithms into their differentially private variants while guaranteeing sub-linear regret ($O(\sqrt{T})$). Next, we consider the special case of online linear regression problems, a practically important class of online learning problems, for which we generalize an approach by Dwork et al. to provide a differentially private algorithm with just $O(\log^{1.5} T)$ regret. Finally, we show that our online learning framework can be used to provide differentially private algorithms for offline learning as well. For the offline learning problem, our approach obtains better error bounds as well as can handle larger class of problems than the existing state-of-the-art methods Chaudhuri et al.

연구 동기 및 목표

• 민감한 데이터를 점진적으로 처리하는 실시간 온라인 학습 시스템에서 사용자 프라이버시를 보존하는 데 도전하는 것.
• 모든 OCP 알고리즘을 차별적(private) 변형으로 전환할 수 있는 일반적 방법을 개발함으로써 강력한 유틸리티 보장을 유지하는 것.
• 일반적인 OCP 문제에 대해 $(\epsilon,\delta)$-차별적(private) 프라이버시 하에서 하위선형 잔차($\tilde{O}(\sqrt{T})$)를 달성하는 것.
• 기존 최상위 수준의 방법보다 개선된 오류 한계를 제공하는 오프라인 학습 문제로 이 프레임워크를 확장하는 것.
• 특수한 경우인 이차 비용 함수에 대해 로그형 잔차를 달성할 수 있는지 탐색하는 것.

제안 방법

• 프레임워크는 두 가지 핵심 성질에 의존한다: 시간이 지남에 따라 감소하는 데이터 포인트의 민감도와 원래 알고리즘에서의 하위선형 잔차 한계.
• 각 시간 단계에서 $(\epsilon,\delta)$-차별적(private) 프라이버시를 보장하기 위해 민감도가 철저히 제한된 출력 펌핑(output perturbation)을 적용한다.
• 비공개 IGD 및 GIGA는 각 단계에서 알고리즘 출력의 민감도에 비례하여 노이즈를 추가함으로써 구성된다.
• 이차 비용 함수의 경우, 기존 연구를 일반화하여 비용 제약 조건 하에서 $O(\log^{1.5}T)$의 잔차를 달성한다.
• 오프라인 학습으로의 확장을 위해 오프라인 문제를 연속적인 온라인 업데이트 시퀀스로 간주함으로써, 이전 방법보다 더 나은 오류 한계를 도출한다.
• 이론적 분석을 통해 모델 업데이트의 민감도를 한정하고, 펌핑된 출력이 차별적(private) 프라이버시를 만족함을 증명한다.

실험 결과

연구 질문

• RQ1 비공개 OCP 알고리즘을 차별적(private) 변형으로 전환할 수 있는 일반적 프레임워크를 설계할 수 있는가? 이때 강력한 잔차 보장을 확보할 수 있는가?
• RQ2 온라인 학습에서 프라이버시와 유틸리티를 동시에 확보하기 위해 필요한 최소한의 알고리즘 성질(예: 민감도 감소, 잔차 한계)은 무엇인가?
• RQ3 일반적인 강凸함 강한 볼록 함수에 대해, 차별적(private) 온라인 학습의 잔차를 하위선형 잔차 $ ilde{O}(\sqrt{T})$를 초월해 향상시킬 수 있는가?
• RQ4 특정 함수 클래스(예: 이차 손실)에 대해, 차별적(private) 온라인 학습에서 로그형 잔차를 달성할 수 있는가?
• RQ5 제안된 온라인 비공개 학습 프레임워크를 효과적으로 오프라인 볼록 학습 문제로 확장할 수 있는가? 이때 기존 최상위 수준의 방법보다 개선된 오류 한계를 달성할 수 있는가?

주요 결과

• 비공개 IGD 및 GIGA 알고리즘은 일반적인 OCP 문제에 대해 $\tilde{O}(\sqrt{T})$의 잔차를 달성하면서도 $(\epsilon,\delta)$-차별적(private) 프라이버시를 보장한다.
• 이차 비용 함수의 특수한 경우에 대해 제안된 알고리즘이 $O(\log^{1.5}T)$의 잔차를 달성하여 일반적인 $\tilde{O}(\sqrt{T})$의 한계를 크게 향상시킨다.
• Year Prediction 데이터셋에서 PQFTL 알고리즘이 고프라이버시 수준($\epsilon = 0.01$)에서도 $10^{-2}$ 수준의 잔차를 달성하여 뛰어난 유틸리티를 보였다.
• Forest Cover-type 데이터셋에서 PIGD 알고리즘이 $\epsilon = 0.1$일 때도 분류 정확도가 58% 이상을 유지하여, 의미 있는 모델을 비공개적으로 학습시킬 수 있음을 보여주었다.
• 프레임워크는 오프라인 학습으로 확장되었으며, 더 넓은 범위의 볼록 문제에 대해 기존 최상위 수준의 방법 [3]보다 더 나은 오류 한계를 제공한다.
• 실험 결과는 잔차와 모델 정확도가 $\epsilon$ 감소함에 따라 점진적으로 악화됨을 보여주며, 프라이버시와 유틸리티 사이의 실용적인 트레이드오프를 확인한다.