[논문 리뷰] The Price of Differential Privacy For Online Learning

Naman Agarwal, Karan Singh|arXiv (Cornell University)|2017. 01. 27.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 24

한 줄 요약

이 논문은 풀정보 및 밴딧 설정에서 온라인 선형 최적화를 위한 차별적(private) 알고리즘을 제안하며, 거의 최적의 리그레트(불만족도) 경계를 달성한다. 풀정보 설정에서는 차별적 개인정보보호가 리그레트에 상수 추가 비용만을 초래하여, 비밀번호 매개변수 ε ≥ 1/√T 일 때 '무료'가 된다. 밴딧 설정에서는 Õ(√T) 리그레트를 달성하여 이전의 Õ(T²ᐟ³) 경계를 향상시킨다.

ABSTRACT

We design differentially private algorithms for the problem of online linear optimization in the full information and bandit settings with optimal $ ilde{O}(\sqrt{T})$ regret bounds. In the full-information setting, our results demonstrate that $ε$-differential privacy may be ensured for free -- in particular, the regret bounds scale as $O(\sqrt{T})+ ilde{O}\left(\frac{1}ε ight)$. For bandit linear optimization, and as a special case, for non-stochastic multi-armed bandits, the proposed algorithm achieves a regret of $ ilde{O}\left(\frac{1}ε\sqrt{T} ight)$, while the previously known best regret bound was $ ilde{O}\left(\frac{1}εT^{\frac{2}{3}} ight)$.

연구 동기 및 목표

• 풀정보 및 밴딧 피드백 설정에서 거의 최적의 리그레트를 갖는 차별적 온라인 학습 알고리즘을 설계하기.
• 풀정보 설정에서 ε-차별적 개인정보보호를 달성할 수 있는지, 리그레트에 상수 추가 비용 외에 영향을 주지 않는지에 대한 열린 문제를 해결하기.
• 기존의 Õ(T²ᐟ³/ε)에서 개선된 차별적 밴딧 선형 최적화의 상태 기반 리그레트 경계를 Õ(√T/ε)로 향상시키기.
• 문제 기하학에 맞게 정규화를 적응적으로 조정함으로써 리그레트에 대한 비용 최소화로 개인정보 보호를 달성함을 보여주기.
• 밴딧 설정에서 Õ(√T) 리그레트를 유지하면서 ε-차별적 개인정보보호를 보장하는 일반적인 감소 기법을 제공하기.

제안 방법

• ε-차별적 개인정보보호를 보장하기 위해 파rameter λ = ‖Y‖₁/ε를 갖는 라플라스 노이즈 주입을 사용하는 새로운 차별적 온라인 선형 최적화 알고리즘을 제안한다.
• 이전 연구에서 관찰된 차원 N에 대한 다항식 의존성을 피하기 위해 문제 기하학에 적응하는 정규화 기반 프레임워크를 활용한다.
• 노이즈 크기가 유한한 사건에 대한 조건부 분석을 도입하여, 고확률 하에서 리그레트의 집중을 보장한다.
• 개념적으로 노이즈를 캘리브레이션한 비공개 버전의 SCRiBLe 알고리즘을 사용하여 비공개 밴딧 학습으로의 감소를 적용한다.
• 볼록 체의 자기일관성 성질을 활용하여 리그레트를 문제의 기하학적 구조로 제한한다.
• 노이즈와 손실 벡터의 기여도를 분리하는 수정된 리그레트 분해를 사용하여, 엄밀한 고확률 경계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 풀정보 온라인 선형 최적화 설정에서 차별적 개인정보보호를 달성할 수 있으며, 리그레트에 상수 추가 비용 외에 영향을 주지 않는가?
• RQ2 차별적 밴딧 선형 최적화에서 Õ(√T) 리그레트를 달성할 수 있으며, 비공개 최적 경계와 일치하는가?
• RQ3 기하학적 정규화를 통해 비공개 온라인 학습 알고리즘에서 차원 N에 대한 의존성을 제거하거나 감소시킬 수 있는가?
• RQ4 부분 피드백이 있는 악성 밴딧 설정에서 비밀번호 ε와 리그레트 사이의 최적 트레이드오프는 무엇인가?
• RQ5 일반적인 감소 기법이 밴딧 피드백 설정에서 Õ(√T) 리그레트를 유지하면서 ε-차별적 개인정보보호를 보장할 수 있는가?

주요 결과

• 풀정보 설정에서 제안된 알고리즘은 리그레트 O(√T) + Õ(1/ε)를 달성하여, ε ≥ 1/√T 일 때 차별적 개인정보보호가 '무료'임을 입증한다.
• 정육면체 위에서의 온라인 선형 최적화에 대해, 리그레트 경계는 이전의 Õ(√(NT)/ε)에서 Õ(√(NT) + N log²T / ε)로 향상되었으며, 이는 T < N/ε² 일 때도 의미 있는 개선이다.
• 전문가 조언을 통한 예측에 대해 리그레트 경계는 O(√(T log N) + N log N log²T / ε)로 향상되었으며, 이는 이전의 Õ(√(T log N)/ε) 경계를 초월한다.
• 밴딧 설정에서, 선형 밴딧에 대한 첫 번째 ε-차별적 개인정보보호 알고리즘이 Õ(√T) 리그레트를 달성하여, Smith & Thakurta (2013)에서 제기한 열린 문제를 해결한다.
• 비스도스틱 다중 손잡이 밴딧에 대해 리그레트는 Õ(√(NT log N)/ε)이며, 이는 이전 최고의 경계 Õ(NT²ᐟ³/ε)를 향상시킨다.
• 분석 결과, 차별적 개인정보보호 하에서도 최적의 T에 대한 리그레트 의존성이 유지되며, T²ᐟ³ 또는 그 이하의 스케일링이 없음을 보여준다.