[논문 리뷰] Data-Dependent Differentially Private Parameter Learning for Directed Graphical Models

Amrita Roy Chowdhury, Theodoros Rekatsinas외 1명|arXiv (Cornell University)|2019. 05. 30.

Privacy-Preserving Technologies in Data참고 문헌 59인용 수 4

한 줄 요약

이 논문은 방향 그래픽 모델(DGMs)의 파라미터 학습을 위한 데이터에 의존하는 차별적 보호 알고리즘을 제안하며, 데이터 및 그래프 구조를 기반으로 조건부 확률 분포 간에 비밀리 예산 할당을 최적화한다. 노드별 민감도와 영향력에 맞게 노이즈를 추가함으로써, 필요로 하는 비밀리 예산을 약 3배 감소시킨다. 이로써 동일한 추론 유틸리티를 ε=1.0에서 달성하는 데 성공하며, 데이터에 의존하지 않는 기준선은 ε=3.0에서 동일한 성능을 내야 한다.

ABSTRACT

Directed graphical models (DGMs) are a class of probabilistic models that are widely used for predictive analysis in sensitive domains, such as medical diagnostics. In this paper we present an algorithm for differentially private learning of the parameters of a DGM with a publicly known graph structure over fully observed data. Our solution optimizes for the utility of inference queries over the DGM and extit{adds noise that is customized to the properties of the private input dataset and the graph structure of the DGM}. To the best of our knowledge, this is the first explicit data-dependent privacy budget allocation algorithm for DGMs. We compare our algorithm with a standard data-independent approach over a diverse suite of DGM benchmarks and demonstrate that our solution requires a privacy budget that is $3 imes$ smaller to obtain the same or higher utility.

연구 동기 및 목표

• 데이터나 그래프 구조에 맞게 노이즈가 조정되지 않는 데이터에 의존하지 않는 차별적 보호(DP)의 비효율적 유틸리티 문제를 해결한다. 이는 DGM 파라미터 학습에서 특히 문제가 된다.
• 데이터에 의존하는 성질과 그래프 구조를 기반으로 비밀리 예산을 명시적으로 할당하여 DGM의 추론 쿼리 오차를 최소화한다.
• DGM의 각 조건부 확률 분포(CPDs)에 걸쳐 비밀리 예산 할당을 최적화하는 새로운 데이터에 의존하는 최적화 프레임워크를 개발하여 유틸리티-효율성을 향상시킨다.
• 추론 쿼리 오차에 대한 이론적 경계를 제공하며, 이 경계가 트리너비와 최대 노드 차수와 어떻게 관련되는지 분석한다.
• 의료와 같은 민감한 분야에서 DP의 실용적 적용을 가능하게 하여 동일한 유틸리티를 얻기 위한 비밀리 비용을 줄인다.

제안 방법

• DGM 파라미터 학습을 각 조건부 확률 분포(CPD)에 대한 별도의 DP 하위 문제로 분해함으로써, 각 노드에 대한 예산 할당을 가능하게 한다.
• 이중 단계 접근법을 사용한다: 첫 번째로, 비밀리 예산 ε^I를 소량 할당하여 비율 β로 데이터의 부분 집합을 샘플링하여 초보적 파라미터 및 오차 민감도를 추정한다.
• 노드의 영향력을 높이(h_i), 출도(o_i), 추정된 파라미터 오차(δ̃_i) 및 민감도(Δ̃_i^N)로 가중하는 데이터에 의존하는 최적화 목표를 설정한다.
• 각 CPD의 민감도를 새로운 공식을 통해 계산하며, 이는 자식 노드의 분포에만 초점을 맞추어 정확도와 비밀리 회계를 향상시킨다.
• 가중치가 부여된 목표를 통해 노드 간 비밀리 예산 할당을 최적화한다: ∑(W[i]·δ̃_i/ε_i) + W[n]·δ̃_n/(ε^B - ε^I - ∑ε_i), 여기서 W[i] = (h_i+1)(o_i+1)(Δ̃_i^N + 1).
• 최적화된 ε_i 값에 맞춰 데이터 특화 노이즈를 조정한 라플라스 기반 메커니즘을 적용하여 최종 모델이 ε-BDP를 확보하도록 한다.

실험 결과

연구 질문

• RQ1 DGM의 CPD들 간에 데이터에 의존하는 비밀리 예산 할당이 주어진 추론 유틸리티를 달성하기 위해 필요한 총 비밀리 예산을 줄일 수 있는가?
• RQ2 노드의 영향력(높이, 출도, 파라미터 민감도로 측정)은 최적의 비밀리 예산 할당에 어떻게 영향을 주는가?
• RQ3 DP DGM에서 추론 쿼리 오차의 이론적 경계는 무엇이며, 그래프 구조(예: 트리너비, 최대 차수)와 어떻게 관련되는가?
• RQ4 이중 단계 샘플링 및 최적화 파이프라인은 초보적 파라미터 추정 비용을 줄이면서도 유틸리티를 유지할 수 있는가?
• RQ5 제안된 방법은 데이터에 의존하지 않는 DP 기준선에 비해 유틸리티 및 비밀리 예산 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 알고리즘은 기준선 대비 ε=1.0에서 동일하거나 더 높은 추론 유틸리티를 달성하며, 기준선은 ε=3.0에서 동일한 성능을 내야 한다.
• 모든 네 개의 DGM 벤치마크에서 제안된 방법은 유틸리티를 유지하거나 향상시키면서도 필요한 비밀리 예산을 약 3배 감소시켰다.
• 이론적 분석 결과, 추론 오차 상한은 DGM의 트리너비에 따라 지수적으로 증가하는 반면, 하한은 최대 노드 차수에 따라 영향을 받는다.
• CPD의 민감도는 자식 노드의 분포에만 기반하여 계산되며, 이는 더 정확하고 효율적인 노이즈 캘리브레이션을 가능하게 한다.
• 최적화 목표는 루트 노드와 같은 고영향력 노드를 식별하여 더 높은 예산 할당을 유도함으로써 전체 추론 정확도를 향상시킨다.
• 샘플링(β)을 포함한 이중 단계 접근법은 초보적 추정 비용(ε^I)을 줄여 최종 파라미터 계산에 더 많은 예산을 확보할 수 있게 한다.