[논문 리뷰] Functional Mechanism: Regression Analysis under Differential Privacy

Jun Zhang, Zhenjie Zhang외 3명|arXiv (Cornell University)|2012. 08. 01.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 60

한 줄 요약

이 논문은 최적화 목표 함수에 직접 노이즈를 주입하는 방식으로, 출력 결과가 아닌 목표 함수 자체에 노이즈를 첨가하는 새로운 비밀성 보장 방법인 기능 메커니즘(Functional Mechanism, FM)을 제안한다. 목표 함수를 훼손하고 이를 바탕으로 노이즈가 첨가된 최적화 문제를 해결함으로써, 기존 방법들보다 훨씬 높은 정확도와 효율성을 달성하며, 특히 낮은 비밀성 예산 또는 고차원 데이터 환경에서 뛰어난 성능을 보인다. 이는 FP 및 DPME와 같은 합성 데이터 기반 접근 방식보다 정확도와 속도 면에서 모두 뛰어나다.

ABSTRACT

ε-differential privacy is the state-of-the-art model for releasing sensitive information while protecting privacy. Numerous methods have been proposed to enforce epsilon-differential privacy in various analytical tasks, e.g., regression analysis. Existing solutions for regression analysis, however, are either limited to non-standard types of regression or unable to produce accurate regression results. Motivated by this, we propose the Functional Mechanism, a differentially private method designed for a large class of optimization-based analyses. The main idea is to enforce epsilon-differential privacy by perturbing the objective function of the optimization problem, rather than its results. As case studies, we apply the functional mechanism to address two most widely used regression models, namely, linear regression and logistic regression. Both theoretical analysis and thorough experimental evaluations show that the functional mechanism is highly effective and efficient, and it significantly outperforms existing solutions.

연구 동기 및 목표

• 표준 선형 회귀 및 로지스틱 회귀 모델을 사용하는 정확하고 효율적인 차별적 비밀성 보장 회귀 방법이 부족한 문제를 해결하기 위해.
• 기존 접근 방식의 한계를 극복하기 위해, 합성 데이터 생성에 의존하는 방법(높은 노이즈와 낮은 정확도 유발)이나 비표준 회귀 유형에 국한되는 방법을 피하기 위해.
• 최적화 문제의 목표 함수에 노이즈를 주입함으로써 ϵ-차별적 비밀성 보장을 보장하는 일반 목적의 프레임워크를 개발하기 위해.
• 노이즈가 첨가된 최적화 문제에서 정확한 회귀 결과를 도출하면서도 강력한 비밀성 보장을 유지하기 위해.

제안 방법

• 기능 메커니즘은 최적화 문제의 목표 함수에 다항식 계수에 노이즈를 첨가함으로써, 최종 회귀 계수를 직접 노이즈 처리하는 방식이 아니라 목표 함수 자체를 변형한다.
• 선형 회귀의 경우, 직접적으로 이차 목표 함수를 노이즈 처리하여 표준 볼록 최적화 솔버를 통해 효율적으로 해결할 수 있다.
• 비다항식 목표 함수를 가진 로지스틱 회귀의 경우, 목표 함수를 유한 다항식으로 근사하기 위해 잘라낸 테일러 전개를 사용한다.
• 노이즈의 강도는 민감도 분석을 통해 조정되어 ϵ-차별적 비밀성 보장을 확보하며, 노이즈의 크기는 노이즈가 첨가된 목표 함수의 L2 민감도에서 유도된다.
• 합성 데이터 생성을 피함으로써 계산 오버헤드를 줄이고 모델 정확도를 유지한다.
• 최종 최적화 문제는 표준 솔버(예: MATLAB의 최적화 툴박스)를 사용하여 해결되며, 이는 효율성과 확장성 보장을 보장한다.

실험 결과

연구 질문

• RQ1 회귀 최적화 문제의 목표 함수에 노이즈를 주입하는 것이, 출력 계수에 노이즈를 주입하는 것보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 다양한 비밀성 예산과 데이터 차원에서, 합성 데이터 기반 접근 방식인 FP 및 DPME와 비교해 기능 메커니즘이 정확도와 효율성 면에서 어떻게 성능을 내는가?
• RQ3 로지스틱 회귀 목표 함수의 테일러 전개를 잘라내는 것이 차별적 비밀성 보장 모델의 정확도에 어떤 영향을 미치는가?
• RQ4 기존 방법들과 비교해 기능 메커니즘의 계산 시간은 데이터 집합의 크기와 차원에 따라 어떻게 변화하는가?
• RQ5 기능 메커니즘이 비공개 회귀(NoPrivacy) 성능과 유사한 정확도를 달성하는 조건은 무엇인가?

주요 결과

• 모든 테스트 데이터셋과 비밀성 예산에서, 기능 메커니즘은 FP 및 DPME와 같은 기존 방법들보다 평균 제곱오차(Mean Squared Error) 면에서 뚜렷이 뛰어난 성능을 보였다.
• 미국-선형(US-Linear) 및 브라질-선형(Brazil-Linear) 데이터셋에서, ϵ = 0.1일 때 FM은 FP 및 DPME 대비 최대 50% 낮은 평균 제곱오차를 기록했다.
• 로지스틱 회귀의 경우, 브라질 데이터셋에서 ϵ = 0.1일 때 FM은 DPME 대비 오분류율을 최대 40% 감소시켰다.
• FM의 계산 시간은 데이터 차원에 대해 선형적으로 증가하며, 합성 데이터 생성으로 인한 추가 오버헤드를 지닌 FP 및 DPME보다 항상 낮았다.
• ϵ의 변화에 관계없이 FM의 실행 시간은 거의 변하지 않으며, 이는 ϵ이 데이터 크기나 최적화 복잡도에 영향을 주지 않기 때문이다.
• 고차원 환경에서는 FM의 정확도 우월성이 점점 두드러지게 나타나며, ϵ ≥ 1.6일 경우 비공개 회귀(NoPrivacy) 성능에 가까워진다.