[논문 리뷰] Efficient, Noise-Tolerant, and Private Learning via Boosting

Mark Bun, Marco Carmosino외 1명|arXiv (Cornell University)|2020. 02. 04.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 4

한 줄 요약

이 논문은 차원에 독립적인 표본 복잡도를 확보하면서, 다양한 개인 정보 보호 기법과 노이즈 내성, 효율성을 동시에 확보하는 모듈러한 프레임워크를 제안한다. 이는 약한 학습기로부터 강한 학습기를 생성하기 위한 대용량 마진 반평면 학습을 위한 것이다. 부드러운 부스팅과 개인 정보 보호 메커니즘—특히 라이센스 Bregman 투영과 가우시안 노이즈—를 활용함으로써 주요 결과는 차원에 의존하지 않는 표본 복잡도를 달성하며, 개인 정보 보호와 정확도의 경계가 노이즈 내성과 신뢰도와 함께 유리하게 스케일링된다.

ABSTRACT

We introduce a simple framework for designing private boosting algorithms. We give natural conditions under which these algorithms are differentially private, efficient, and noise-tolerant PAC learners. To demonstrate our framework, we use it to construct noise-tolerant and private PAC learners for large-margin halfspaces whose sample complexity does not depend on the dimension. We give two sample complexity bounds for our large-margin halfspace learner. One bound is based only on differential privacy, and uses this guarantee as an asset for ensuring generalization. This first bound illustrates a general methodology for obtaining PAC learners from privacy, which may be of independent interest. The second bound uses standard techniques from the theory of large-margin classification (the fat-shattering dimension) to match the best known sample complexity for differentially private learning of large-margin halfspaces, while additionally tolerating random label noise.

연구 동기 및 목표

• 기존의 복잡한 구성 방식을 단순화하면서도 개인 정보 보호와 노이즈 내성을 유지하는 일반적이고 모듈러한 개인 정보 보장 부스팅 프레임워크를 설계하는 것.
• 입력 차원에 의존하지 않는 표본 복잡도를 갖는 효율적인, 개인 정보 보장된 PAC 학습을 통해 대용량 마진 반평면을 학습하는 것.
• 지속적인 일반화를 보장하기 위해 지방화 차원을 통해 노이즈 내성과 개인 정보 보호 보장을 결합함으로써, 무작위 분류 노이즈 상황에서도 내성성을 확보하는 것.
• 기존 학습 이론에 기반하지 않은 새로운 개인 정보 보장 전용 표본 복잡도 경계를 통해, 차원 보존이 개인 정보 보호를 일반화 도구로 활용할 수 있음을 보여주는 것.
• 라이센스 Bregman 투영과 측도 생성을 기반으로 한 깔끔한 이론적 프레임워크를 통해 부드러운 부스팅, 개인 정보 보장, 노이즈 내성의 통합을 이루는 것.

제안 방법

• 라이센스 Bregman 투영을 통해 훈련 예제에 대한 부드러운 분포를 유지함으로써, 개인 정보 보호와 노이즈 내성을 보장하는 일반적인 부스팅 스키마를 제안한다.
• 가우시안 노이즈를 활용한 개인 정보 보장 약한 학습기를 사용하여, 레이블 노이즈가 존재하더라도 무작위 추측보다 일정한 우위를 확보한다.
• 약한 가설을 가중 투표 방식으로 조합하는 개인 정보 보장 부스팅 알고리즘을 적용하며, zCDP(제로-집중된 개인 정보 보장)와 날카로운 조합 경계를 통해 개인 정보 보장을 유지한다.
• 표준 학습 이론과는 별개로 개인 정보 보장을 일반화 능력 향상 도구로 활용할 수 있음을 보여주는 새로운 개인 정보 보장 전용 표본 복잡도 경계를 도입한다.
• 지방화 차원을 활용하여 일반화 오차를 제한하고, 무작위 노이즈 상황에서도 낮은 테스트 오차를 높은 확률로 확보한다.
• Chernoff 경계와 농도 불등식을 사용하여 손상된 샘플과 노이즈로 인한 유틸리티 손실로 인한 실패 확률을 제어한다.

실험 결과

연구 질문

• RQ1 차원 보존, 노이즈 내성, 효율성을 동시에 달성하는 통합 프레임워크를 설계할 수 있는가?
• RQ2 개인 정보 보장이 데이터 보호 외에도 학습 알고리즘의 일반화 능력을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ3 무작위 분류 노이즈 하에서 대용량 마진 반평면의 개인 정보 보장 학습에 대한 최적의 표본 복잡도는 무엇인가?
• RQ4 가우시안 노이즈와 Bregman 투영과 같은 개인 정보 보장 메커니즘을 통해 부스팅에서 부드러움과 강건성을 유지할 수 있는가?
• RQ5 개인 정보 보장, 부드러움, 지방화 차원 간의 상호작용이 개인 정보 보장 학습에서 최종 일반화 오차에 어떻게 영향을 미치는가?

주요 결과

• 제안된 HS-StL 알고리즘은 표본 복잡도 $n = O\left(\frac{\sqrt{\log(1/\kappa)\log(1/\delta)\log(\log(1/\kappa)/\beta\tau)}}{\epsilon\kappa\tau^{2}}\right)$ 를 통해 $(\rho, \tau)$-마진 반평면 학습을 수행하며, 입력 차원에 독립적이다.
• 개인 정보 보장 전용 표본 복잡도 경계는 개인 정보 보장 자체가 일반화를 보장할 수 있음을 보여주며, 경계는 $O\left(\frac{\sqrt{\log(1/\kappa)\log(1/\delta)\log(\log(1/\kappa)/\beta\tau^{2})}}{\epsilon\alpha\tau^{2}}\right)$ 로 주어진다.
• 알고리즘은 $O(\alpha\tau)$의 비율로 무작위 분류 노이즈를 내성적으로 처리하며, 높은 확률로 테스트 오차 $\leq \alpha$ 를 달성한다.
• 총 $T = \frac{1024\log(1/\kappa)}{\tau^{2}}$ 라운드를 거치면, 최종 가설은 손상되지 않은 예제의 $\kappa$ 비율 이외의 모든 예제에 대해 마진 $\gamma = \tau/8$ 를 확보한다.
• 표본 복잡도와 개인 정보 보장 간의 상관관계를 고려하여 $\rho_T$-zCDP와 날카로운 조합을 통해 $(\epsilon,\delta)$-개인 정보 보장이 보장되며, $\rho_T = O\left(\frac{\log(1/\kappa)}{(\kappa n\sigma\tau)^2}\right)$ 로 주어진다.
• 손상된 샘플, 노이즈로 인한 유틸리티 손실, 일반화 실패로 인한 실패 확률은 모두 $\beta/3$ 이하로 제한되어 전체 성공 확률이 $1 - \beta$ 가 보장된다.