[논문 리뷰] Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints

Akbar Rafiey, Yuichi Yoshida|arXiv (Cornell University)|2020. 06. 28.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 9

한 줄 요약

이 논문은 매트로이드 제약 조건 하에서 단조 증가하는 부분모듈라 및 $k$-부분모듈라 함수의 최대화를 위한 차별적(private) 알고리즘을 제시한다. 부분모듈라 최대화에서는 거의 세제곱 함수 평가로 $(1 - 1/e)$-근사 비율을 달성하고, $k$-부분모듈라 최대화에서는 거의 선형 평가로 $\frac{1}{2}$-근사 비율을 확보하며, 둘 다 강력한 프라이버시 보장을 유지한다.

ABSTRACT

The problem of maximizing nonnegative monotone submodular functions under a certain constraint has been intensively studied in the last decade, and a wide range of efficient approximation algorithms have been developed for this problem. Many machine learning problems, including data summarization and influence maximization, can be naturally modeled as the problem of maximizing monotone submodular functions. However, when such applications involve sensitive data about individuals, their privacy concerns should be addressed. In this paper, we study the problem of maximizing monotone submodular functions subject to matroid constraints in the framework of differential privacy. We provide $(1-\\frac{1}{\\mathrm{e}})$-approximation algorithm which improves upon the previous results in terms of approximation guarantee. This is done with an almost cubic number of function evaluations in our algorithm. Moreover, we study $k$-submodularity, a natural generalization of submodularity. We give the first $\\frac{1}{2}$-approximation algorithm that preserves differential privacy for maximizing monotone $k$-submodular functions subject to matroid constraints. The approximation ratio is asymptotically tight and is obtained with an almost linear number of function evaluations.

연구 동기 및 목표

• 매트로이드 제약 조건 하에서 단조 증가하는 부분모듈라 함수의 최대화를 위한 차별적(private) 알고리즘을 개발하면서 강력한 프라이버시 보장을 유지하고자 한다.
• 부분모듈라의 일반화인 $k$-부분모듈라 함수로 프레임워크를 확장하여 더 풍부한 조합 구조를 모델링하고자 한다.
• 비개인화된 알고리즘의 최고 성능과 동일한 근사 비율을 달성하여 이론적으로 최적임을 보장하고자 한다.
• 함수 평가 횟수를 최소화하여 실용적으로 효율적인 알고리즘을 확보하고자 한다.
• 개인 정보가 민감한 응용 분야인 특징 선택 및 影响 최대화에서의 데이터 처리 시 개인의 프라이버시를 해치지 않도록 하고자 한다.

제안 방법

• 함수의 민감도에 비례하는 노이즈를 추가함으로써 $(\epsilon, \delta)$-차별적(private) 프라이버시를 확보하기 위해 출력 편향 기법과 지수 기반 메커니즘을 사용한다.
• 매트로이드의 랭크인 $r(\mathcal{M})$ 라운드 동안 반복적으로 원소를 선택함으로써 탇합 가능한 해를 단계적으로 구축하는 그레디(iterative) 선택 과정을 적용한다.
• 각 라운드에서, $\exp(\epsilon' \Delta_{e,i} F_D(\mathbf{x}))$ 비율에 비례하여 요소와 $k$-부분모듈라 구성 요소에 대한 할당을 선택함으로써 유용성과 프라이버시의 균형을 맞춘다.
• 각 단계에서 검색 공간을 줄이기 위해 랜덤 샘플링 전략을 활용함으로써 효율성을 향상시키면서도 타당성을 유지한다.
• 다중 라운드 및 함수 평가 간의 총 프라이버시 손실을 제한하기 위해 복합성 정리(composition theorems)를 적용한다.
• 함수의 민감도 $\Delta$와 매트로이드 랭크 $r(\mathcal{M})$에 기반하여 프라이버시 예산을 할당하는 민감도 인식 설계를 도입한다.

실험 결과

연구 질문

• RQ1 매트로이드 제약 조건 하에서 단조 증가하는 부분모듈라 최대화를 위한 차별적(private) 알고리즘을 설계할 수 있을까? 이 알고리즘이 최적의 $1 - 1/e$ 근사 비율을 달성할 수 있을까?
• RQ2 비개인화된 부분모듈라 최대화 프레임워크를 $k$-부분모듈라 함수로 확장할 수 있을까? 이는 각 요소에 대해 다중 할당을 허용한다.
• RQ3 매트로이드 제약 조건 하에서 $k$-부분모듈라 최대화를 위한 상수 요율 근사 비율을 달성할 수 있을까? 이때 함수 평가 횟수는 거의 선형 수준이어야 한다.
• RQ4 감정적인 데이터가 포함된 조합 최적화 문제에서 프라이버시 손실과 근사 품질 간의 균형을 어떻게 맞출 수 있을까?
• RQ5 이러한 문제들에 대해 차별적(private) 프라이버시를 확보하면서도 상수 근사 비율을 달성하기 위해 필요한 최소한의 함수 평가 횟수는 얼마일까?

주요 결과

• 매트로이드 제약 조건 하에서 단조 증가하는 부분모듈라 최대화를 위한 제안된 알고리즘은 $1 - 1/e$ 근사 비율을 달성하며, 비개인화된 결과 중 최고 수준과 동일하다.
• 이 알고리즘은 함수를 최대 $O(|E|^{3})$번 평가하며, 거의 세제곱 수준이지만 이전의 비개인화된 방법보다 훨씬 빠르다.
• $k$-부분모듈라 최대화의 경우, 알고리즘은 $\frac{1}{2}$-근사 비율을 달성하며, 이는 渐近적으로 최적이며 비개인화된 최고의 근사 비율과 일치한다.
• $k$-부분모듈라 알고리즘은 오직 $O(k|E|\ln r(\mathcal{M})\ln \frac{r(\mathcal{M})}{\gamma})$번의 함수 평가만을 사용하여 거의 선형 복잡도를 달성한다.
• 알고리즘은 $O(\epsilon r(\mathcal{M}))$-차별적(private) 프라이버시를 유지하며, 함수의 민감도를 기반으로 강력한 프라이버시 보장을 보장한다.
• 이론적 경계는 광고 슬롯 할당과 다중 자원 시설 위치 설정이라는 두 가지 동기 부여 예시를 통해 검증되었으며, 둘 다 민감한 데이터를 포함한다.