[논문 리뷰] An end-to-end Differentially Private Latent Dirichlet Allocation Using a Spectral Algorithm

Christopher DeCarolis, Mukul Ram외 3명|arXiv (Cornell University)|2018. 05. 25.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 5

한 줄 요약

이 논문은 행렬 및 텐서 분해를 사용하여 라틴 디리클레 할당(Latent Dirichlet Allocation, LDA)에 대한 엔드 투 엔드로 미분적(privacy) 보장이 되는 스펙트럴 알고리즘을 제안한다. 알고리즘적 엣지의 비밀성 보존 설정을 규명하고 감도 및 유용성의 상호 보완적 관계를 철저히 분석함으로써, 이 방법은 모든 비밀성 보장 수준에서 기존의 비밀성 보장이 되는 변분 추론보다 더 높은 유용성으로 일관된 모델 파라미터 복원을 달성한다.

ABSTRACT

We provide an end-to-end differentially private spectral algorithm for learning LDA, based on matrix/tensor decompositions, and establish theoretical guarantees on utility/consistency of the estimated model parameters. The spectral algorithm consists of multiple algorithmic steps, named as "{edges}", to which noise could be injected to obtain differential privacy. We identify \emph{subsets of edges}, named as "{configurations}", such that adding noise to all edges in such a subset guarantees differential privacy of the end-to-end spectral algorithm. We characterize the sensitivity of the edges with respect to the input and thus estimate the amount of noise to be added to each edge for any required privacy level. We then characterize the utility loss for each configuration as a function of injected noise. Overall, by combining the sensitivity and utility characterization, we obtain an end-to-end differentially private spectral algorithm for LDA and identify the corresponding configuration that outperforms others in any specific regime. We are the first to achieve utility guarantees under the required level of differential privacy for learning in LDA. Overall our method systematically outperforms differentially private variational inference.

연구 동기 및 목표

• 스펙트럴 방법을 기반으로 한 LDA에 대해 비밀성 보장과 일관된 모델 파라미터 복원을 동시에 확보하는 비밀성 보장 학습 알고리즘을 개발한다.
• 노이즈 주입이 엔드 투 엔드로 비밀성 보장이 되는 알고리즘적 엣지의 조합(구성)을 규명한다.
• 입력 변화에 대한 각 엣지의 감도를 분석적으로 유 bounds하여 비밀성 예산 보정을 가능하게 한다.
• 각 구성에 대한 유용성 손실을 정량화하고 주어진 비밀성 예산에 최적의 구성 요소를 식별한다.
• 특히 비밀성 보장이 되는 변분 추론과 비교하여, 비밀성 제약 조건 하에서 모델 품질 면에서 기존의 비밀성 보장이 되는 LDA 방법을 모두 초월한다.

제안 방법

• 모멘트의 방법을 통해 스펙트럴 알고리즘을 기반으로 한 행렬/텐서 분해를 사용하여 LDA 파라미터를 학습한다.
• 원시 모멘트에서 최종 주제-단어 분포에 이르는 중간 계산 단계를 나타내는 10개의 엣지(e₀부터 e₉까지)로 구성된 알고리즘 흐름 그래프를 사용한다.
• 선택된 엣지 부분집합에 노이즈를 주입함으로써 비밀성 보장을 확보하며, 이는 복합성 및 후처리 정리의 응용에 기반한다.
• 모멘트의 성질과 행렬/텐서 노름의 특성을 이용하여 각 엣지의 감도를 분석적으로 유 bounds하며, 가우시안 메커니즘을 통해 정밀한 노이즈 보정이 가능하다.
• 유용성 손실은 주입된 노이즈의 기능으로 모델링되며, 비밀성 제약 조건 하에서 가능성이 가장 높은 구성 요소를 선택한다.
• 충분통계를 가우시안 노이즈로 흐트림으로써 엔드 투 엔드 비밀성 보장을 확보하는 비밀성 보장이 되는 가능도 계산을 달성한다.

실험 결과

연구 질문

• RQ1 노이즈 주입이 이루어지는 알고리즘적 엣지의 부분집합(구성) 중에서 어떤 것이 엔드 투 엔드로 비밀성 보장을 달성할 수 있는가?
• RQ2 스펙트럴 LDA 파이프라인 내 각 엣지의 감도를 분석적으로 유 bounds하여 비밀성 예산 보정이 가능하게 할 수 있는가?
• RQ3 각 구성에 대해 비밀성과 유용성의 상호 보완적 관계는 어떻게 되며, 주어진 비밀성 수준에서 유용성 손실를 최소화하는 구성은 무엇인가?
• RQ4 비밀성 보장이 되는 스펙트럴 LDA 알고리즘이 비밀성 보장이 되는 변분 추론보다 더 높은 모델 품질을 달성할 수 있는가?
• RQ5 비밀 정보 泄露 없이 비밀성 보장이 되는 가능도 추정을 어떻게 달성할 수 있는가?

주요 결과

• 제안된 방법은 스펙트럴 방법을 사용한 엔드 투 엔드 LDA 학습에 대해 일관성과 비밀성 보장에 대한 이론적 보장을 제공하는 최초의 방법이다.
• 비밀성 보장이 엔드 투 엔드로 유지되는 것을 보장하는 4개의 서로 다른 엣지 노이즈 주입 구성이 규명되었다.
• 행렬 및 텐서 노름 부등식의 성질을 활용하여 각 엣지의 감도를 분석적으로 유 bounds하였으며, 이는 (ε,δ)-비밀성 보장 수준에서 정밀한 노이즈 보정이 가능함을 의미한다.
• 각 구성에 대한 유용성 손실은 주입된 노이즈의 함수로 정량화되었으며, 이는 주어진 비밀성 예산에 최적의 구성 요소를 선택할 수 있도록 하였다.
• 비밀성 제약 조건 하에서 비밀성 보장이 되는 변분 추론과 비교하여 모델 품질 면에서 체계적으로 뛰어난 성능을 보였다. 이는 가능도와 주제 일관성 측정 기준에서 확인되었다.
• ε=1인 위키백과 데이터셋에 대한 실험에서 '군사 작전'과 '고전 음악'과 같은 일관성 있는 주제를 복원하여 실용적 유용성을 입증하였다.