[논문 리뷰] Differentially Private Learning of Undirected Graphical Models using Collective Graphical Models

Garrett Bernstein, Ryan McKenna외 4명|arXiv (Cornell University)|2017. 06. 14.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 7

한 줄 요약

이 논문은 노이즈가 첨가된 라플라스_privatized 데이터에서 진짜 충분 통계량을 추론하기 위해 집합 그래픽 모델(CGMs)을 사용하여 이산 무방향 그래픽 모델에 대해 비차별적(private) 학습 방법을 제안한다. CGM 추론을 EM 프레임워크에 통합함으로써, 노이즈가 첨가된 통계량에 대한 순수 최대우도 추정보다 유의미하게 높은 모델 품질을 달성하며, 합성 및 실제 인간 이동성 데이터에서 일반적인 비차별적 학습 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We investigate the problem of learning discrete, undirected graphical models in a differentially private way. We show that the approach of releasing noisy sufficient statistics using the Laplace mechanism achieves a good trade-off between privacy, utility, and practicality. A naive learning algorithm that uses the noisy sufficient statistics "as is" outperforms general-purpose differentially private learning algorithms. However, it has three limitations: it ignores knowledge about the data generating process, rests on uncertain theoretical foundations, and exhibits certain pathologies. We develop a more principled approach that applies the formalism of collective graphical models to perform inference over the true sufficient statistics within an expectation-maximization framework. We show that this learns better models than competing approaches on both synthetic data and on real human mobility data used as a case study.

연구 동기 및 목표

• 감정 데이터를 보호해야 하는 상황에서 비차별적 학습 하에 정확한 이산 무방향 그래픽 모델을 학습하는 데 도전하는 것.
• 데이터의 구조 忽시, 이론적 기반 약화, 병리적 행동 등의 문제점을 해결하기 위해 체계적인 추론 프레임워크를 활용하여 순수(private) 학습의 한계를 극복하는 것.
• 노이즈가 첨가된 관측치를 기반으로 진짜 충분 통계량에 대한 추론을 수행함으로써 모델 유효성을 향상시키고, 노이즈가 첨가된 통계량을 정확한 값으로 간주하는 것보다 더 나은 성능을 달성하는 것.
• 합성 및 실제 이동성 데이터 환경에서 일반적인 비차별적 학습 알고리즘에 비해 실용적이고 이론적인 우월성을 입증하는 것.

제안 방법

• 모델의 간선 수로 감도가 제한되는 노이즈가 첨가된 충분 통계량(교차표)을 확보하기 위해 라플라스 메커니즘을 적용하여 비차별적 학습을 보장한다.
• E단계에서 노이즈가 첨가된 관측치를 기반으로 진짜 충분 통계량에 대한 추론을 수행하는 기대-최대화(EM) 프레임워크를 사용하며, 이를 위해 집합 그래픽 모델(CGMs)을 활용한다.
• 노이즈가 첨가된 프라이버티화된 관측치가 주어졌을 때, 미관측 진짜 충분 통계량에 대한 사후 분포를 계산하기 위해 CGM 추론 기법을 활용한다.
• 노이즈가 첨가된 진짜 충분 통계량의 사후 평균을 사용하여 최대우도 추정을 수행함으로써, 노이즈가 첨가된 데이터에 대한 순수 MLE보다 더 정확한 모델 학습을 달성한다.
• 실제 데이터를 사전 처리하여 각 개인의 기여를 정규화(간선당 1/K, 여기서 K는 비null 전이 수)함으로써 감도와 노이즈 크기를 감소시킨다.
• 보류된 로그우도와 KL 발산을 측정 지표로 사용하여 제안된 CGM 기반 방법을 노이즈가 첨가된 통계량에 대한 순수 MLE 및 일반적인 비차별적 학습(PSGD)과 비교한다.

실험 결과

연구 질문

• RQ1 노이즈가 첨가된 충분 통계량에 대한 순수 MLE와 비교해 볼 때, 비차별적 학습 하에서 체계적인 추론 프레임워크가 무방향 그래픽 모델의 품질을 향상시킬 수 있는가?
• RQ2 진짜 충분 통계량에 대한 사후 추론에 집합 그래픽 모델을 사용할 경우, 모델 유효성과 프라이버시-유효성 균형에 어떤 영향을 미치는가?
• RQ3 실제 데이터에서 일반적인 비차별적 학습 알고리즘(예: PSGD)에 비해 제안된 방법이 모델 정확성과 계산 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ4 제안된 방법이 순수 비차별적 학습 접근법에 내재된 병리적 행동과 이론적 약점들을 어느 정도 완화하는가?

주요 결과

• CGM 기반 방법은 합성 및 실제 인간 이동성 데이터에서 모두 노이즈가 첨가된 통계량에 대한 순수 MLE보다 훨씬 높은 모델 품질을 달성하며, 진짜 분포로부터의 KL 발산이 더 낮게 나타난다.
• 합성 데이터에서는 모든 프라이버시 수준(ε)과 인구 규모(N)에서 CGM이 순수 MLE와 PSGD를 일관되게 능가하며, 낮은 ε에서도 개선 효과를 관찰할 수 있다.
• 실제 와이파이 이동성 데이터에서는 CGM이 순수 MLE와 PSGD보다 더 높은 보류 로그우도를 달성하며, ε가 증가하거나 N이 커질수록 성능 향상이 뚜렷하다.
• 순수 MLE는 가장 빠른 방법이지만, CGM은 순수 MLE보다 약 4배~15배 느리고, PSGD보다는 약 8배~46배 느리며, 유효성과 효율성 사이의 합리적인 트레이드오프를 보여준다.
• 노이즈가 첨가된 충분 통계량을 적절히 고려함으로써, 유한 표본에서의 일관성 없는 추정과 같은 순수 MLE의 병리적 행동을 성공적으로 완화한다.
• 실제 데이터를 개인당 기여를 정규화함으로써 감도를 간선 수의 24배에서 간선 수로만 줄여, 더 강력한 프라이버시 보장을 위해 더 적은 노이즈로도 가능하게 하였다.