[논문 리뷰] Privately Learning Markov Random Fields

Huanyu Zhang, Gautam Kamath외 2명|arXiv (Cornell University)|2020. 02. 21.

Privacy-Preserving Technologies in Data참고 문헌 67인용 수 4

한 줄 요약

이 논문은 마르코프 무작위 필드(MRFs)의 비공식 학습을 연구하며, 미세한 차별성 보장 하에서, 구조 학습과 매개변수 학습 간에 본질적으로 다른 표본 복잡도 요구 사항이 있음을 보여준다. 비공식 MRF 학습은 차원에 대해 로그 스케일링되지만, 오직 근사적인 미세한 차별성 보장만이 이 효율성을 유지한다; 매개변수 학습과 순수 또는 집중된 DP는 다항 표본 복잡도가 필요하며, 이는 고차원 설정에서 강력한 프라이버시 유도 분리가 있음을 드러낸다.

ABSTRACT

We consider the problem of learning Markov Random Fields (including the prototypical example, the Ising model) under the constraint of differential privacy. Our learning goals include both structure learning, where we try to estimate the underlying graph structure of the model, as well as the harder goal of parameter learning, in which we additionally estimate the parameter on each edge. We provide algorithms and lower bounds for both problems under a variety of privacy constraints -- namely pure, concentrated, and approximate differential privacy. While non-privately, both learning goals enjoy roughly the same complexity, we show that this is not the case under differential privacy. In particular, only structure learning under approximate differential privacy maintains the non-private logarithmic dependence on the dimensionality of the data, while a change in either the learning goal or the privacy notion would necessitate a polynomial dependence. As a result, we show that the privacy constraint imposes a strong separation between these two learning problems in the high-dimensional data regime.

연구 동기 및 목표

• 미세한 차별성 보장 하에서 마르코프 무작위 필드(MRFs) 학습의 표본 복잡도를 조사하기.
• 미세한 차별성의 맥락에서 구조 학습과 매개변수 학습의 난이도를 비교하기.
• 순수, 집중된, 근사적인 미세한 차별성 보장 하에서 두 학습 목표에 대한 엄밀한 하한을 설정하기.
• 고차원 설정에서 비공식 MRF 학습이 효율적으로 유지되는 조건을 특정하기.
• 미세한 차별성이 구조 학습과 매개변수 학습 간의 복잡도 체계를 비공식 설정과는 다르게 본질적으로 변화시킴을 보여주기.

제안 방법

• 제한된 간선 가중치와 구조적 희박성을 가진 MRF의 가족을 구성하여 기초 그래픽 모델 공간을 모델링한다.
• 확률적 쌍화 추론과 정보 이론적 패킹 하한을 사용하여 미세한 차별성 보장 하에서 표본 복잡도의 하한을 유도한다.
• 다른 MRF 매개변수에 의해 유도된 분포 간의 총 변동 거리의 하한을 구하기 위해 최대 쌍화 렘마를 적용한다.
• 순수한 미세한 차별성 보장에 대해서는 [ASZ20a]의 확률적 패킹 추론을, 제로-집중된 미세한 차별성 보장(zCDP)에 대해서는 [BS16]을 적용한다.
• 다른 MRF 분포에서 쌍화된 표본 간의 기대 허밍 거리를 분석하여 하한을 유도한다.
• KL 발산과 카이 제곱 거리의 결과를 조합하여 프라이버시 손실를 하한화하고 표본 복잡도의 상충 관계를 유도한다.

실험 결과

연구 질문

• RQ1 근사적인 미세한 차별성 보장 하에서, 이원 MRF의 구조 학습에 필요한 최소 표본 복잡도는 얼마인가?
• RQ2 순수한 미세한 차별성 보장 하에서 MRF의 매개변수 학습의 표본 복잡도는 구조 학습에 비해 어떻게 다른가?
• RQ3 고차원 MRF에서 미세한 차별성 보장이 구조 학습과 매개변수 학습 간의 복잡도에 분리를 유도하는가?
• RQ4 집중된 또는 순수한 미세한 차별성 보장 하에서 MRF의 구조 학습에 대해 로그 표본 복잡도를 유지할 수 있는가?
• RQ5 다양한 프라이버시 개념에 대해 비공식 MRF 학습의 가장 날카로운 표본 복잡도 하한은 무엇인가?

주요 결과

• 근사적인 미세한 차별성 보장 하에서, 이원 MRF의 구조 학습은 차원에 대해 로그 스케일링되는 표본 복잡도만 필요하며, 비공식 설정과 동일하다.
• 순수 또는 집중된 미세한 차별성 보장 하에서의 매개변수 학습은 구조 학습이 여전히 효율적임에도 불구하고, 차원에 대해 다항 복잡도로 증가한다.
• 근사적인 DP를 위한 구조 학습에 대해 하한은 $ n = \Omega\left(\frac{\sqrt{p}}{\eta\varepsilon} + \frac{k^2 p}{\varepsilon}\right) $ 로 유도되었으며, 여기서 $ p $ 는 변수 수, $ \eta $ 는 최소 간선 가중치, $ k $ 는 알파벳 크기이다.
• 제로-집중된 미세한 차별성 보장(zCDP)의 경우 하한은 $ n = \Omega\left(\sqrt{\frac{k^2 p}{\rho}}\right) $ 로 유도되었으며, 이는 $ p $ 에 대해 다항적 의존성을 보여준다.
• 결과적으로, 미세한 차별성 보장 하에서 구조 학습과 매개변수 학습 간에 강력한 분리가 존재한다: 근사적인 DP 하에서는 구조 학습이 여전히 효율적이지만, 모든 프라이버시 체제 하에서 매개변수 학습은 상당히 비용이 많이 든다.
• 이 연구는 미세한 차별성 보장이 MRF 학습의 복잡도 체계를 본질적으로 변화시킴을 드러내며, 엄격한 프라이버시 제약 하에서 고차원 설정에서 매개변수 학습이 비가능해질 수 있음을 보여준다.