[논문 리뷰] PAC learning with stable and private predictions

Yuval Dagan, Vitaly Feldman|arXiv (Cornell University)|2019. 11. 24.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 6

한 줄 요약

이 논문은 균일 안정성과 차별적 비밀보장 예측을 위한 새로운 알고리즘을 제안하며, 표준 평균화 방법을 초월하여 표본 복잡도를 감소시킨다. 균일 안정성의 경우 $\widetilde{O}(d/(α\gamma) + d/\alpha^2)$, 차별적 비밀보장의 경우 $\widetilde{O}(d/(α^2\varepsilon) + d^2/(α\varepsilon) + d/\alpha^2)$의 날카운 경계를 달성하여 이전 연구에 비해 크게 향상된다.

ABSTRACT

We study binary classification algorithms for which the prediction on any point is not too sensitive to individual examples in the dataset. Specifically, we consider the notions of uniform stability (Bousquet and Elisseeff, 2001) and prediction privacy (Dwork and Feldman, 2018). Previous work on these notions shows how they can be achieved in the standard PAC model via simple aggregation of models trained on disjoint subsets of data. Unfortunately, this approach leads to a significant overhead in terms of sample complexity. Here we demonstrate several general approaches to stable and private prediction that either eliminate or significantly reduce the overhead. Specifically, we demonstrate that for any class $C$ of VC dimension $d$ there exists a $γ$-uniformly stable algorithm for learning $C$ with excess error $α$ using $ ilde O(d/(αγ) + d/α^2)$ samples. We also show that this bound is nearly tight. For $ε$-differentially private prediction we give two new algorithms: one using $ ilde O(d/(α^2ε))$ samples and another one using $ ilde O(d^2/(αε) + d/α^2)$ samples. The best previously known bounds for these problems are $O(d/(α^2γ))$ and $O(d/(α^3ε))$, respectively.

연구 동기 및 목표

• PAC 학습에서 균일 안정성과 예측 비밀보장을 달성하기 위한 표준 평균화 기반 방법의 높은 표본 복잡도 과잉을 해결하기 위해.
• 단순 평균화 방식에서 발생하는 $k$-겹 데이터 사용 비용을 피하면서도 안정적이고 비밀보장된 예측을 보장하는 일반적인 기법을 개발하기 위해.
• 아그노스틱 설정에서 균일 안정성과 차별적 비밀보장이 있는 PAC 학습의 날카운 표본 복잡도 경계를 확립하기 위해.
• 안정성과 비밀보장의 계산적 및 통계적 상호 교환 관계를 분석하고, 특히 경험 위험 최소화와의 비교를 통해 분석하기 위해.
• 차별적 비밀보장 예측에 대한 상한과 하한 경계 사이의 격차를 메우는 데 있어 열린 문제를 특정하기 위해.

제안 방법

• 단순 평균화를 초월한 고급 샘플링 및 집계 기법을 사용하여 안정적이고 비밀보장된 예측 알고리즘을 구성하는 일반적 프레임워크를 제안한다.
• 차별적 비밀보장을 확보하면서도 낮은 초과 오차를 유지하기 위해 지수 기반 기법을 활용한다. 다만 계산 비용이 높은 편이다.
• 안정 알고리즘이 충분한 데이터 없이 존재한다고 가정하고 모순을 이끌어내기 위해 측도 변화의 추론과 삼각 부등식을 사용하여 표본 복잡도의 하한을 유도한다.
• BNS15의 기법을 활용하여 실현 가능 모델에서 아그노스틱 PAC 학습으로의 감소를 적용하여 결과를 아그노스틱 설정으로 확장한다.
• 개별 데이터 포인트에 대한 예측 민감도를 분석하기 위해 레이블을 뒤집고, 안정성 파rameter를 통해 예측의 기대 변화를 경계한다.
• 차원이 $d$인 도메인 위에서 무작위 레이블링 체계를 도입하여 안정 알고리즘의 한계를 드러내는 어려운 분포를 구성한다.

실험 결과

연구 질문

• RQ1 표준 평균화 방법의 $k$-겹 표본 과잉을 피하면서도 균일 안정성 또는 예측 비밀보장을 갖춘 PAC 학습 알고리즘을 설계할 수 있는가?
• RQ2 VC 차원이 $d$인 개념 클래스에 대해 $\gamma$-균일 안정성과 초과 오차 $\alpha$를 갖는 아그노스틱 PAC 학습의 최적 표본 복잡도는 무엇이며, 과도한 데이터 사용 없이 달성 가능한가?
• RQ3 아그노스틱 PAC 모델에서 $\varepsilon$-차별적 비밀보장 예측의 가장 날카운 가능한 표본 복잡도는 무엇인가?
• RQ4 비밀보장/안정 학습의 계산 비용은 표준 경험 위험 최소화와 비교해 어떻게 되는가?
• RQ5 장꼬리 분포를 가진 데이터에 대해 안정적이고 비밀보장된 알고리즘이 얼마나 비효율적인가?

주요 결과

• VC 차원 $d$인 임의의 개념 클래스에 대해, 초과 오차 $\alpha$를 갖는 $\gamma$-균일 안정성 PAC 학습 알고리즘이 $\widetilde{O}(d/(α\gamma) + d/\alpha^2)$개의 표본을 사용할 수 있으며, 이 경계는 거의 날카롭다.
• 이 논문은 $\gamma$-균일 안정 학습에 대해 표본 복잡도의 하한을 $\Omega((d-1)/(8\gamma\alpha))$로 확립하여, 상한 경계가 로그 인자 외에는 거의 최적임을 확인한다.
• 차별적 비밀보장 예측을 위한 두 가지 알고리즘을 제시한다: 하나는 $\widetilde{O}(d/(α^2\varepsilon))$개의 표본을 사용하고, 다른 하나는 $\widetilde{O}(d^2/(α\varepsilon) + d/\alpha^2)$개의 표본을 사용한다. 이는 이전 최고의 경계인 $O(d/(α^3\varepsilon))$보다 향상되었다.
• 차별적 비밀보장 예측의 상한 경계는 $\widetilde{O}(\min\{d/(α^2\varepsilon), d^2/(α\varepsilon)\} + d/\alpha^2)$이며, 이는 $\alpha$와 $\varepsilon$에 대한 의존도를 감소시켜 이전 연구를 향상시킨다.
• 저자들은 지수 기반 기법을 사용해 비밀보장을 달성할 수 있음을 보였지만, 이는 표준 경험 위험 최소화보다 계산 비용이 더 높다는 것을 밝혔다.
• 차별적 비밀보장 예측에 대해 가장 알려진 상한과 하한 경계 사이에 여전히 격차가 존재하며, 하한은 $\widetilde{\Omega}(d/(ε\alpha) + d/\alpha^2)$, 상한은 $\widetilde{O}(d/(α^2\varepsilon) + d^2/(α\varepsilon) + d/\alpha^2)$이다. 이는 향후 연구를 위한 열린 문제를 시사한다.