[논문 리뷰] Latent Dirichlet Allocation Model Training with Differential Privacy

Fangyuan Zhao, Xuebin Ren외 4명|arXiv (Cornell University)|2020. 10. 09.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 6

한 줄 요약

이 논문은 세 가지 새로운 알고리즘을 포함한, 차별적(private) LDA 학습 프레임워크를 제안한다: 중앙집중형 데이터를 위한 HDP-LDA, 커뮤니티 기반 데이터에서 국지적 차별적 개인정보 보호를 위한 LP-LDA, 스트리밍 데이터를 위한 OLP-LDA. 이는 붕괴된 깁스 샘플링과 차별적 개인정보 보호 간의 이론적 연결을 처음으로 수립하며, 주제 샘플링이 지수 기반 메커니즘을 통해 본질적으로 개인정보 보호를 제공함을 입증한다. 또한 제안된 방법이 강력한 개인정보 보호 보장을 받는 조건에서 높은 모델 유틸리티를 달성함을 검증한다.

ABSTRACT

Latent Dirichlet Allocation (LDA) is a popular topic modeling technique for hidden semantic discovery of text data and serves as a fundamental tool for text analysis in various applications. However, the LDA model as well as the training process of LDA may expose the text information in the training data, thus bringing significant privacy concerns. To address the privacy issue in LDA, we systematically investigate the privacy protection of the main-stream LDA training algorithm based on Collapsed Gibbs Sampling (CGS) and propose several differentially private LDA algorithms for typical training scenarios. In particular, we present the first theoretical analysis on the inherent differential privacy guarantee of CGS based LDA training and further propose a centralized privacy-preserving algorithm (HDP-LDA) that can prevent data inference from the intermediate statistics in the CGS training. Also, we propose a locally private LDA training algorithm (LP-LDA) on crowdsourced data to provide local differential privacy for individual data contributors. Furthermore, we extend LP-LDA to an online version as OLP-LDA to achieve LDA training on locally private mini-batches in a streaming setting. Extensive analysis and experiment results validate both the effectiveness and efficiency of our proposed privacy-preserving LDA training algorithms.

연구 동기 및 목표

• 학습 데이터에서 민감한 정보가 노출될 수 있는 LDA 학습의 개인정보 위험을 해결하기 위해.
• 중앙집중형 및 분산형 LDA 학습 환경(스트리밍 데이터 포함)에 대한 포괄적인 개인정보 보호를 제공하기 위해.
• 붕괴된 깁스 샘플링(CGS)의 내재된 차별적 개인정보 보호 특성을 공식적으로 분석하여, 지수 기반 메커니즘과의 연결 고리를 밝혀내기 위해.
• 강력한 개인정보 보호 예산 조건 하에서 높은 모델 유틸리티를 유지하는 실용적이고 효율적이며 개인정보 보호를 고려한 LDA 알고리즘을 설계하기 위해.
• 실시간으로 도착하는 데이터 스트림에서 개인정보 보호를 고려한 온라인 LDA 학습을 가능하게 하기 위해.

제안 방법

• HDP-LDA를 제안한다. 이는 중앙집중형 차별적 개인정보 보호 LDA 학습 알고리즘으로, 지수 기반 메커니즘을 통해 주제 샘플링의 내재된 개인정보 보호 기능을 활용하여 CGS 과정에서의 중간 통계치를 보호한다.
• LP-LDA를 설계한다. 이는 개별 문서가 서버로 전송되기 전에 클라이언트 측에서 국지적 차별적 개인정보 보호를 통해 정제되는 국지적 개인정보 보장 LDA 프레임워크이다.
• OLP-LDA를 도입한다. 이는 이전 지식을 활용하여 국지적 개인정보 보호 데이터의 미니배치를 처리하는 온라인 LDA 알고리즘으로, 점진적으로 모델 정확도를 향상시킨다.
• OLP-LDA에서 복구 손실과 상관관계 손실을 조합한 하이브리드 손실 함수를 사용하여, 노이즈가 있는 데이터 스트림에서도 모델의 정확도를 향상시킨다.
• OLP-LDA에서 이전 데이터셋을 사용하여 모델 파라미터를 초기화함으로써 노이즈의 영향을 줄이고 수렴성과 성능을 향상시킨다.
• CGS에서 단어 수 통계치와 주제 할당에 차별적 개인정보 보호를 적용하여, (ε, δ)-DP 조건 하에서 종단 간 개인정보 보호 보장을 확보한다.

실험 결과

연구 질문

• RQ1 LDA의 붕괴된 깁스 샘플링 과정이 본질적으로 차별적 개인정보 보호를 제공할 수 있는가? 만약 가능하다면 어떤 조건에서 가능한가?
• RQ2 신뢰할 수는 하지만 호기심이 많은 서버가 존재할 경우, 중앙집중형 CGS 기반 LDA 학습에서 중간 통계치를 어떻게 보호할 수 있는가?
• RQ3 의도적으로 개인정보를 보호하는 방식으로 LDA 학습을 수행할 때, 커뮤니티 기반 텍스트 데이터에서의 성능 저하 없이 국지적 차별적 개인정보 보호를 효과적으로 적용할 수 있는가?
• RQ4 데이터가 배치 단위로 도착하고 각 문서가 국지적으로 정제되어야 하는 조건에서, 온라인 LDA 학습을 어떻게 개인정보 보호적으로 설계할 수 있는가?
• RQ5 개인정보 보호 예산(ε), 모델 유틸리티(예: 퍼플렉서티, F1 점수), 그리고 배치 크기, 이전 데이터셋 크기 등의 시스템 파라미터 간의 상호 교환 관계는 어떠한가?

주요 결과

• HDP-LDA는 CGS 기반 LDA 학습에서 중간 통계치를 보호함으로써 강력한 개인정보 보호 보장을 달성하며, 모델 유틸리티에 큰 영향을 주지 않는다.
• LP-LDA는 약한 개인정보 보호 환경(예: ε = 3.0)에서 CDP-LDA를 능가하는 모델 유틸리티를 보이며, ε가 증가함에 따라 순수한 CGS의 성능에 가까워진다.
• 적절한 크기의 이전 데이터셋을 사용할 경우, OLP-LDA는 비공개 O-LDA 기준선과 유사한 퍼플렉서티 값을 달성하여 온라인 환경에서 매우 효과적임을 입증한다.
• OLP-LDA의 퍼플렉서티는 배치 번호가 증가할수록 단조롭게 감소함을 보이며, 시간이 지남에 따라 안정적이고 점진적인 모델 개선이 이루어짐을 시사한다.
• OLP-LDA에서 이전 데이터셋 크기가 클수록 성능 향상이 뚜렷하며, 이는 국지적 개인정보 보호 조건 하에서 이전 지식이 정확도 향상에 기여함을 확인한다.
• OLP-LDA는 미니배치 크기에 대해 상대적으로 민감도가 낮아 실사용 환경에서의 안정성과 강건성을 보여준다.