[논문 리뷰] Differentially Private Coordinate Descent for Composite Empirical Risk Minimization

Paul Mangold, Aurélien Bellet외 2명|arXiv (Cornell University)|2021. 10. 22.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 4

한 줄 요약

이 논문은 차별적 개인 정보 보호 기준 하에서 복합 경험 리스크 최소화 문제를 위한 새로운 알고리즘인 미분적 개인 정보 보호 좌표 하강(DP-CD)을 제안한다. 좌표별 기울기 노이즈 추가와 큰 일정한 단계 크기를 활용하여, 특히 비균형 문제에서 DP-SGD보다 더 높은 유틸리티를 달성하며, 이론적 하한선에 로그 인자까지 근접한다.

ABSTRACT

Machine learning models can leak information about the data used to train them. To mitigate this issue, Differentially Private (DP) variants of optimization algorithms like Stochastic Gradient Descent (DP-SGD) have been designed to trade-off utility for privacy in Empirical Risk Minimization (ERM) problems. In this paper, we propose Differentially Private proximal Coordinate Descent (DP-CD), a new method to solve composite DP-ERM problems. We derive utility guarantees through a novel theoretical analysis of inexact coordinate descent. Our results show that, thanks to larger step sizes, DP-CD can exploit imbalance in gradient coordinates to outperform DP-SGD. We also prove new lower bounds for composite DP-ERM under coordinate-wise regularity assumptions, that are nearly matched by DP-CD. For practical implementations, we propose to clip gradients using coordinate-wise thresholds that emerge from our theory, avoiding costly hyperparameter tuning. Experiments on real and synthetic data support our results, and show that DP-CD compares favorably with DP-SGD.

연구 동기 및 목표

• 차별적 개인 정보 보호 최적화에서 단계 크기 제약과 기울기 불균형에 대한 민감성으로 인해 DP-SGD의 한계를 해결한다.
• ℓ1와 같은 비연속적인 정규화를 갖는 복합 ERM 문제에 특화된 새로운 차별적 개인 정보 보호 최적화 프레임워크를 개발한다.
• 노이즈가 추가된 기울기를 사용하는 근사적인 프록시 좌표 하강을 분석하여 개인 정보-유틸리티 트레이드오프에 대한 날카로운 이론적 경계를 설정한다.
• 이론에서 유도된 좌표별 클리핑 임계값을 통해 초모수 조정의 실용적 지침을 제공하여 고비용 수동 캘리브레이션을 피한다.
• 실제 및 시뮬레이션 데이터를 활용한 광범위한 실험을 통해 균형 및 비균형 설정 모두에서 DP-CD가 DP-SGD를 능가함을 입증한다.

제안 방법

• 한 번에 한 좌표씩 업데이트하는 차별적 개인 정보 보호 프록시 좌표 하강 알고리즘(DP-CD)을 제안하며, 이는 노이즈가 추가된 부분 기울기를 사용한다.
• 이론적 미세 조정 상수를 기반으로 한 좌표별 기울기 클리핑을 통해 노이즈를 줄이면서도 개인 정보 보호를 유지한다.
• 최적 해와의 반복적 거리에 대한 새로운 재귀 분석을 도입하여, 좌표별 규칙성 상수를 추적함으로써 더 날카로운 수렴 경계를 확보한다.
• 고급 조합 정리(advanced composition theorem)를 통해 개인 정보 보장을 도출하며, 전체 기울기보다 부분 기울기의 감도가 낮다는 점을 활용한다.
• 사전 지식 없이도 구현이 가능하도록, 부분 표본을 활용한 차별적 개인 정보 보호 절차를 통해 좌표별 미세 조정 상수를 개인 정보 보존 방식으로 추정한다.
• 초모수 조정 복잡성을 줄이기 위해 좌표별 클리핑 임계값을 조정하는 단일 초모수 규칙을 구현한다.

실험 결과

연구 질문

• RQ1 동일한 개인 정보 예산 하에서, 좌표 하강 방법이 SGD 기반 방법보다 차별적 개인 정보 보호 ERM에서 더 높은 유틸리티를 달성할 수 있는가?
• RQ2 좌표별 기울기 크기의 불균형은 개인 정보 보장 최적화 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 좌표별 규칙성 가정 하에 복합 DP-ERM의 최적 개인 정보-유틸리티 트레이드오프는 무엇인가?
• RQ4 개인 정보 보존 좌표 하강 알고리즘이 로그 인자까지 이론적 하한선을 충족할 수 있는가?
• RQ5 실제 적용에서 광범위한 초모수 조정 없이 좌표별 클리핑 임계값을 효율적으로 설정할 수 있는가?

주요 결과

• 비균형 데이터셋에서 DP-CD는 DP-SGD보다 최적화 오차가 크게 낮으며, 캘리포니아 주택 데이터셋에서 ε=1일 때 상대 오차가 0.0010 vs. 0.0087로 최대 90% 감소한다.
• 희소 LASSO 문제에서 DP-CD는 ε=10일 때 DP-SGD 대비 오차를 60% 이상 감소시켜 상대 오차 0.2498 vs. 0.7551을 달성한다.
• DP-CD는 반복당 DP-SGD 대비 약 4–5배 더 빠르게 실행되어 고유틸리티 솔루션에 더 빨리 수렴한다.
• 좌표별 규칙성 조건 하에서 복합 DP-ERM의 이론적 하한선에 로그 인자까지 근접하므로, 거의 최적임을 시사한다.
• 좌표별 클리핑 임계값을 위한 단일 초모수 규칙은 수동 조정 없이도 효과적인 성능을 보이며, 다양한 데이터셋에서 검증되었다.
• 균형 설정에서도 DP-CD는 DP-SGD를 능가함을 확인하여, 비균형 문제 외에도 광범위한 적용 가능성을 입증한다.