[논문 리뷰] Private Topic Modeling

Mijung Park, James R. Foulds외 2명|arXiv (Cornell University)|2016. 09. 14.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 7

한 줄 요약

이 논문은 누적된 개인정보 비용을 정밀하게 계산하기 위해 모멘트 회계사( moments accountant)를 사용하고, 서브샘플링 기반의 개인정보 약화 기법을 결합하여 잠재 디리클레 분포(Latent Dirichlet Allocation, LDA)에 대한 차별적 비밀보장(stochastic variational inference) 방법을 제안한다. 이 방법은 주제 일관성을 유지하면서도 노이즈를 크게 감소시켜, 위키백과 데이터에서 ε ≈ 2.44로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We develop a privatised stochastic variational inference method for Latent Dirichlet Allocation (LDA). The iterative nature of stochastic variational inference presents challenges: multiple iterations are required to obtain accurate posterior distributions, yet each iteration increases the amount of noise that must be added to achieve a reasonable degree of privacy. We propose a practical algorithm that overcomes this challenge by combining: (1) an improved composition method for differential privacy, called the moments accountant, which provides a tight bound on the privacy cost of multiple variational inference iterations and thus significantly decreases the amount of additive noise; and (2) privacy amplification resulting from subsampling of large-scale data. Focusing on conjugate exponential family models, in our private variational inference, all the posterior distributions will be privatised by simply perturbing expected sufficient statistics. Using Wikipedia data, we illustrate the effectiveness of our algorithm for large-scale data.

연구 동기 및 목표

• 반복적인 변분 추론에서 노이즈가 반복 단계 동안 누적되는 문제를 해결하기 위해, 반복적 변분 추론에 대한 차별적 비밀보장을 적용하는 데 목적이 있다.
• 더 정밀한 개인정보 회계를 활용하여 스트로스틱 변분 추론에서 필요한 노이즈를 줄이는 데 목적이 있다.
• 대규모 데이터의 서브샘플링을 통해 개인정보를 약화시켜 추가로 노이즈를 감소시키는 데 목적이 있다.
• 모델 유틸리티를 유지하면서도 실용적이고 확장 가능한 개인정보 보호 주제 모델링 방법을 개발하는 데 목적이 있다.

제안 방법

• 다중 변분 추론 반복 동안 누적된 개인정보 비용에 대한 날것의 경계를 계산하기 위해 모멘트 회계사 기법을 사용한다.
• 대규모 데이터셋에 서브샘플링을 적용하여 개인정보 약화를 달성하고, 각 업데이트에 필요한 노이즈를 감소시킨다.
• E단계에서 기대 충분통계량을 흐리게 하고, M단계에서 기대 자연모수를 흐리게 하여 변분 추론 과정을 개인정보 보장한다.
• 모든 사후분포가 충분통계량에 노이즈를 주입함으로써 사후분포가 모두 개인정보 보장되도록 공액지수족 프레임워크 내에서 운영된다.
• 두 단계로 구성된 변분 추론 절차를 사용한다: E단계는 흐린 기대 충분통계량을 사용해 잠재변수의 사후분포를 계산하고, M단계는 개인정보 보장된 기대값을 사용해 모델 파라미터를 업데이트한다.
• 다중 반복 동안의 총 개인정보 손실을 제한하기 위해 모멘트 회계사 복합정리(composition theorem)를 사용하여, 표준 복합 방법보다 더 낮은 노이즈를 가능하게 한다.

실험 결과

연구 질문

• RQ1 과도한 노이즈로 인한 성능 저하 없이, 반복적인 스트로스틱 변분 추론에 차별적 비밀보장을 효과적으로 적용할 수 있는가?
• RQ2 변분 추론의 맥락에서, 표준 복합정리에 비해 모멘트 회계사가 개인정보 회계를 어떻게 향상시키는가?
• RQ3 대규모 주제 모델링에서 서브샘플링이 개인정보를 얼마나 약화시키며, 주어진 개인정보 예산에 대해 필요한 노이즈를 얼마나 줄일 수 있는가?
• RQ4 개인정보 보장 주제 모델의 유틸리티는 비개인정보 모델에 비해 주제 일관성과 퍼즐러피티(perplexity) 측면에서 어떻게 비교되는가?

주요 결과

• 모멘트 회계사 복합 방법은 강력한 복합 방법에 비해 노이즈를 크게 감소시켜, 동일한 개인정보 예산에서 더 낮은 퍼즐러피티를 달성했다.
• 미니배치 크기가 20,000이고 σ = 1.24일 때, 위키백과 데이터에서 ε ≈ 2.44를 달성했으며, 단어당 퍼즐러피티는 합리적으로 낮게 유지되었다.
• 비개인정보 LDA는 가장 높은 주제 일관성을 보였지만, 모멘트 회계사 기반의 개인정보 보장 LDA는 노이즈가 존재하더라도 의미 있는 주제 구조를 유지했다.
• 강력한 복합 방법은 모멘트 회계사에 비해 훨씬 더 많은 노이즈가 필요했고, 이로 인해 주제 일관성이 떨어지고 상위 단어에 대한 확률질량이 감소했다.
• 더 큰 미니배치 크기는 신호 대 노이즈 비율을 향상시키고 퍼즐러피티를 감소시켰지만, 높은 서브샘플링 비율로 인해 개인정보 비용이 증가했다.
• 이 방법은 ε ≈ 2.44의 개인정보 보장 수준과 모델 유틸리티 사이에 유리한 트레이드오프를 달성했으며, 주제는 해석 가능하고 상위 단어는 높은 확률을 유지했다.