[논문 리뷰] The Large Margin Mechanism for Differentially Private Maximization

Kamalika Chaudhuri, Daniel Hsu외 1명|arXiv (Cornell University)|2014. 09. 07.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 20

한 줄 요약

이 논문은 이산 유니버스 위에서 데이터에 의존하는 함수를 최대화하기 위한 새로운 비차별적(private) 알고리즘인 Large Margin Mechanism(LMM)을 소개한다. 최고값과 두 번째로 높은 값 사이의 큰 간격(margin)을 활용함으로써, LMM는 범위에 종속되지 않는 유틸리티를 달성한다—에러는 전체 유니버스 크기 K에 비례하는 것이 아니라 근접 최대값의 수 ℓ에 대해 로그적으로 증가한다—동시에 약한 비차별적(private) 보장을 제공하여, 비차별적 최대화를 위한 첫 번째 일반 목적의 범위에 종속되지 않는 해법이 된다.

ABSTRACT

A basic problem in the design of privacy-preserving algorithms is the private maximization problem: the goal is to pick an item from a universe that (approximately) maximizes a data-dependent function, all under the constraint of differential privacy. This problem has been used as a sub-routine in many privacy-preserving algorithms for statistics and machine-learning. Previous algorithms for this problem are either range-dependent---i.e., their utility diminishes with the size of the universe---or only apply to very restricted function classes. This work provides the first general-purpose, range-independent algorithm for private maximization that guarantees approximate differential privacy. Its applicability is demonstrated on two fundamental tasks in data mining and machine learning.

연구 동기 및 목표

• 이산 유니버스 위에서 데이터에 의존하는 함수를 최대화하기 위한 비차별적(private) 알고리즘 설계라는 근본적인 과제를 해결한다.
• 기존 방법의 핵심적 한계인 범위 의존성(range-dependence)을 극복한다—즉, 최대값이 명확하게 존재하더라도 유니버스 크기가 증가할수록 유틸리티가 떨어지는 현상이다.
• 목적 함수에 대한 제한적인 가정 없이도 약한 비차별적(private) 보장을 보장하는 일반 목적의 알고리즘을 개발한다.
• 비차별적 PAC 학습과 빈번한 아이템세트 탐색과 같은 핵심 기계학습 및 데이터 마이닝 작업에의 적용 가능성을 보여준다.
• 근본적인 한계를 규명하기 위해, 약한 비차별적(private) 보장 하에서 근접 최대값의 수가 증가할수록 유틸리티가 악화되어야 한다는 하한선(lower bound)을 증명한다.

제안 방법

• 먼저, 최대값에서 정해진 간격 내에 있는 아이템 수 ℓ를 비차별적(private) 카운팅을 통해 추정하는 Large Margin Mechanism(LMM)을 제안한다.
• 전체 유니버스가 아니라 목적 함수 f(i,D)의 상위 ℓ개 값만을 대상으로 지수 기반 메커니즘을 적용한다.
• ℓ번째와 (ℓ+1)번째로 높은 값 사이의 간격 γ가 존재하므로, 축소된 집합에서의 지수 기반 메커니즘이 약한 비차별적(private) 보장을 유지함을 보장한다.
• 감도가 유한해지도록 잘라낸 지수 기반 메커니즘을 사용하여 유용성을 향상시키며, 노이즈는 간격과 근접 최대값의 수에 따라 조정한다.
• 약한 조건 하에서 (ε,δ)-비차별적(private) 보장이 성립함을 증명하며, 유틸리티는 전체 유니버스 크기 K가 아니라 ℓ에 대해 로그적으로 의존한다.
• 목적 함수의 간격 구조와 비차별적(private) 보장 및 유틸리티 보장 간의 관계를 연결하는 새로운 분석 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 전체 유니버스 크기 K에 종속되지 않는 일반 목적의 비차별적(private) 최대화 알고리즘을 설계할 수 있는가?
• RQ2 목적 함수 f에 대한 제한적인 조건 없이도 비차별적(private) 최대화에서 범위에 종속되지 않는 성능을 달성할 수 있는가?
• RQ3 근접 최대값이 여러 개인 경우, 비차별적(private) 최대화에서 비차별적(private) 보장과 유틸리티 사이의 근본적 트레이드오프는 무엇인가?
• RQ4 상위 함수 값들 사이의 큰 간격을 활용하여 유용성을 향상시키면서도 비차별적(private) 보장을 유지할 수 있는가?
• RQ5 약한 비차별적(private) 보장 하에서 비차별적(private) 최대화의 정보 이론적 한계는 무엇인가?

주요 결과

• Large Margin Mechanism(LMM)은 (1/n)-Lipschitz 연속성 이외의 목적 함수 f에 대한 추가 가정 없이도 (ε,δ)-비차별적(private) 보장을 달성한다.
• LMM의 유틸리티는 전체 유니버스 크기 K에 대해 선형적이거나 다항적으로 의존하는 것이 아니라 근접 최대값의 수 ℓ에 대해 로그적으로 의존하므로 진정으로 범위에 종속되지 않는 성능을 달성한다.
• 하한선을 통해 어떤 (ε,δ)-비차별적(private) 최대화 알고리즘도 근접 최대값의 수 ℓ이 증가할수록 유틸리티가 악화되어야 한다는 점을 증명함으로써, LMM의 로그적 의존성은 로그 요소의 차수까지 최적임을 입증한다.
• LMM는 동시에 약한 비차별적(private) 보장과 범위에 종속되지 않는 유틸리티를 보장하는 첫 번째 일반 목적의 비차별적(private) 최대화 알고리즘이다.
• 비차별적(PAC) 학습에서는 |H| 대신 H(t*)의 로그인 log|H(t*)|로 교체함으로써 일반화 오차 경계를 향상시켜 샘플 효율성을 크게 향상시킨다. 여기서 H(t*)는 간격 내에 있는 히포테시스 집합이다.
• 빈번한 아이템세트 탐색에서는 LMM가 약한 비차별적(private) 보장과 함께 아이템세트 유니버스 크기와 무관한 유틸리티를 보장하는 첫 번째 알고리즘이다.