[논문 리뷰] A Submodularity-based Agglomerative Clustering Algorithm for the Privacy Funnel

Ni Ding, Parastoo Sadeghi|arXiv (Cornell University)|2019. 01. 20.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 7

한 줄 요약

이 논문은 프라이버시 펌프(Privacy Funnel, PF) 및 인포메이션 블로킹(Information Bottleneck, IB) 문제를 위한 하위모듈러리티 기반의 응집형 클러스터링 알고리즘인 IAC-MDSF를 제안한다. 최적의 병합 선택을 하위모듈러 함수의 차분(Difference of Submodular Functions, MDSF)으로 공식화함으로써, 현재 알파벳의 모든 부분집합에 대해 다항시간 최적화를 가능하게 하여, 실세계 데이터에서 수렴 속도와 프라이버시-유용성 트레이드오프 성능 면에서 이가 쌍방향 병합 접근법을 능가한다.

ABSTRACT

For the privacy funnel (PF) problem, we propose an efficient iterative agglomerative clustering algorithm based on the minimization of the difference of submodular functions (IAC-MDSF). For a data curator that wants to share the data $X$ correlated with the sensitive information $S$, the PF problem is to generate the sanitized data $\hat{X}$ that maintains a specified utility/fidelity threshold on $I(X; \hat{X})$ while minimizing the privacy leakage $I(S; \hat{X})$. Our IAC-MDSF algorithm starts with the original alphabet $\hat{\mathcal{X}} := \mathcal{X}$ and iteratively merges the elements in the current alphabet $\hat{\mathcal{X}}$ that minimizes the Lagrangian function $ I(S;\hat{X}) - λI(X;\hat{X}) $. We prove that the best merge in each iteration of IAC-MDSF can be searched efficiently over all subsets of $\hat{\mathcal{X}}$ by the existing MDSF algorithms. We show that the IAC-MDSF algorithm also applies to the information bottleneck (IB), a dual problem to PF. By varying the value of the Lagrangian multiplier $λ$, we obtain the experimental results on a heart disease data set in terms of the Pareto frontier: $ I(S;\hat{X})$ vs. $- I(X;\hat{X})$. We show that our IAC-MDSF algorithm outperforms the existing iterative pairwise merge approaches for both PF and IB and is computationally much less complex.

연구 동기 및 목표

• 데이터 게시에서 프라이버시-유용성 트레이드오프(Privacy-Utility Tradeoff, PUT)를 해결하기 위해, 민감한 정보 S와 상관관계가 있는 유용한 데이터 X를 정제해야 하는 데이터 통합자(Data Curator)의 문제를 다룬다.
• 지정된 유용성 기준 I(X;X̂)≥θU 를 유지하면서 프라이버시 泄露 I(S;X̂)를 최소화하는 효율적인 알고리즘을 개발한다.
• 기존의 쌍방향 병합 접근법의 높은 계산 복잡도를 해결하기 위해, 하위모듈러 최적화를 통해 모든 부분집합에 대한 최적의 병합 선택을 가능하게 한다.
• 유용성과 압축의 동시 최적화를 위한 이중 인포메이션 블로킹(Inverse Bottleneck, IB) 문제에 대해 제안된 방법을 확장한다.
• 기존의 반복적 쌍방향 병합 알고리즘 대비 수렴 속도와 파레토 경계 우월성 면에서 뛰어난 성능을 입증한다.

제안 방법

• IAC-MDSF 알고리즘은 원본 알파벳 X̂(0):=X 로 시작하여, I(S;X̂W)−λI(X;X̂W) 를 최소화하는 방식으로 부분집합 W⊆X̂(k) 을 반복적으로 병합한다.
• 최적의 병합은 두 하위모듈러 함수의 차분(MDSF)으로 문제를 축소함으로써, 기존의 MDSF 솔버(예: SubM-SuperM 또는 모듈러 함수 최소화)를 사용해 다항시간 국소 수렴을 달성할 수 있다.
• 상호정보량 항 I(S;X̂W) 와 I(X;X̂W) 의 하위모듈러리티를 이용하며, 이는 엔트로피 성질과 −ylog y 의 로그-凸성(log-convexity)을 통해 증명된다.
• 알고리즘은 결정론적 전이 분포 p(x̂|x)∈{0,1} 을 유지하고 소프트 전이를 피하며, 부분집합 병합을 통한 효율적인 코드북 구축에 집중한다.
• 라그랑주 승수 λ 를 변화시켜 프라이버시 泄露 I(S;X̂) 와 유용성 손실 −I(X;X̂) 의 파레토 경계를 추적한다.
• 이 방법은 프라이버시 펌프(PF) 및 인포메이션 블로킹(IB) 문제 모두에 적용되어 이중 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 쌍방향 병합이 아닌 모든 부분집합에 대해 데이터 요소의 최적 병합을 달성할 수 있는가? 이는 더 나은 프라이버시-유용성 트레이드오프로 이어지는가?
• RQ2 상호정보량 항의 하위모듈러리티를 활용하여 병합 선택 과정의 계산 복잡도를 감소시킬 수 있는가?
• RQ3 MDSF 공식화가 기존의 쌍방향 병합 알고리즘 대비 더 빠른 수렴과 향상된 성능을 가능하게 하는가?
• RQ4 제안된 IAC-MDSF 알고리즘은 기존 기준 방법 대비 프라이버시 泄露와 유용성 손실의 파레토 경계에서 어떻게 비교되는가?
• RQ5 MDSF 기반 접근법은 비슷한 성능 향상을 얻기 위해 인포메이션 블로킹 문제로 확장될 수 있는가?

주요 결과

• IAC-MDSF 알고리즘은 [4]에서 제시한 쌍방향 병합 접근법보다 훨씬 적은 반복 수로 수렴하며, 헝가리 심장병 데이터셋에서 몇 번의 반복 내에 수렴이 관찰되었다.
• 알고리즘은 더 나은 프라이버시-유용성 트레이드오프를 달성하였으며, PF 및 IB 문제 모두에서 결과 파레토 경계가 쌍방향 병합 방법의 경계를 일반적으로 지배한다.
• 쌍방향 병합의 각 반복당 O(|X|²) 비용에 비해 계산 복잡도가 크게 감소하였으며, 이는 집합의 멱집합 2^X̂(k) 에 대해 탐색하지만, 한 스텝에 여러 요소를 동시에 병합할 수 있기 때문이다.
• I(S;X̂W) 와 I(X;X̂W) 의 하위모듈러리티는 엄밀히 증명되었으며, f(W) 와 g(W) 가 각각 하위모듈러리티이자 비증가(nonincreasing)임을 입증하여 MDSF 공식화를 가능하게 하였다.
• UCI 심장병 데이터셋에 대한 실험 결과, IAC-MDSF는 기존 방법 대비 동일한 유용성 수준 I(X;X̂) 에서 더 낮은 프라이버시 泄露 I(S;X̂) 를 달성하였다.
• 이 방법은 프라이버시 펌프 및 인포메이션 블로킹 문제 모두에 적용 가능하여, 관련 최적화 프레임워크 전반에 걸쳐 일반성과 강건성을 입증하였다.