[논문 리뷰] Adaptive Learning with Robust Generalization Guarantees

Rachel Cummings, Katrina Ligett외 3명|arXiv (Cornell University)|2016. 02. 24.

Privacy-Preserving Technologies in Data참고 문헌 5인용 수 4

한 줄 요약

이 논문은 후처리 및 적응적 복합에 대해 강건한 일반화, 차별적 비밀유지, 완벽한 일반화라는 점점 더 강력한 세 가지 일반화 개념을 소개한다. 모든 PAC-학습 가능한 개념 클래스가 거의 최적의 표본 복잡도로 강건한 일반화 하에 학습될 수 있음을 증명하며, 강건한 일반화가 차별적 비밀유지보다는 엄격히 약하고 완벽한 일반화보다는 엄격히 강하다는 것을 보이며, 적응적 학습 및 개인정보 보호 기반 기계학습에의 응용 가능성을 제시한다.

ABSTRACT

The traditional notion of generalization---i.e., learning a hypothesis whose empirical error is close to its true error---is surprisingly brittle. As has recently been noted in [DFH+15b], even if several algorithms have this guarantee in isolation, the guarantee need not hold if the algorithms are composed adaptively. In this paper, we study three notions of generalization---increasing in strength---that are robust to postprocessing and amenable to adaptive composition, and examine the relationships between them. We call the weakest such notion Robust Generalization. A second, intermediate, notion is the stability guarantee known as differential privacy. The strongest guarantee we consider we call Perfect Generalization. We prove that every hypothesis class that is PAC learnable is also PAC learnable in a robustly generalizing fashion, with almost the same sample complexity. It was previously known that differentially private algorithms satisfy robust generalization. In this paper, we show that robust generalization is a strictly weaker concept, and that there is a learning task that can be carried out subject to robust generalization guarantees, yet cannot be carried out subject to differential privacy. We also show that perfect generalization is a strictly stronger guarantee than differential privacy, but that, nevertheless, many learning tasks can be carried out subject to the guarantees of perfect generalization.

연구 동기 및 목표

• 기존 일반화가 적응적 및 후처리 학습 환경에서 취약함을 해결하기 위해.
• 강건한 일반화, 차별적 비밀유지, 완벽한 일반화라는 점점 더 강력한 세 가지 일반화 보장의 형식화 및 비교를 위해.
• 강건한 일반화가 무한 도메인에 대해서도 거의 최적의 표본 복잡도로 PAC 학습을 가능하게 함을 보여주기 위해.
• 강건한 일반화가 차별적 비밀유지보다 엄격히 약하고, 완벽한 일반화보다 엄격히 강하다는 것을 보여주기 위해.
• 완벽한 일반화가 적응적 복합을 지원하며, 완벽하게 일반화 가능한 메커니즘의 복합을 통해 달성될 수 있음을 확립하기 위해.

제안 방법

• 후처리기가 경험 오차와 진짜 오차가 유의미하게 다를 수 없는 보장을 제공하는 '강건한 일반화'를 도입한다.
• 모든 후처리된 가설이 일반화를 유지함을 보장하는 차별적 비밀유지보다 더 강력한 보장을 제공하는 '완벽한 일반화'를 정의한다.
• 강건한 일반화를 만족하는 차별적 비밀유지 알고리즘의 표준 예로 라플라스 메커니즘을 사용한다.
• 군집 비밀유지 기법을 활용해 차별적 비밀유지를 완벽한 일반화로 확장하지만, 이는 매개변수의 급격한 증가를 수반한다.
• 이항 분포의 尾확률에 대한 경계를 활용해 강력한 일반화 하에서의 비밀유지 매개변수의 하한을 유도한다.
• 시뮬레이터 기반의 추론과 농도 불등식을 활용해 차별적 비밀유지 매개변수와 강력한 일반화 매개변수 간의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 강건한 일반화는 최적에 가까운 표본 복잡도로 모든 PAC-학습 가능한 개념 클래스에 대해 달성 가능한가?
• RQ2 강건한 일반화가 차별적 비밀유지보다 엄격히 약한가? 만약 그렇다면, 차별적 비밀유지로는 해결할 수 없는 학습 과제를 해결하는 데 사용할 수 있는가?
• RQ3 완벽한 일반화가 차별적 비밀유지보다 엄격히 강한가? 그리고 적응적 복합을 통해 달성 가능한가?
• RQ4 매개변수의 증가율 측면에서 차별적 비밀유지와 강력한 일반화 간의 관계는 어떠한가?
• RQ5 특히 메커니즘의 복합을 통해 과도한 매개변수 증가 없이 완벽한 일반화를 달성할 수 있는가?

주요 결과

• 모든 PAC-학습 가능한 개념 클래스는 최적에 점점 가까운 표본 복잡도로 강건하게 일반화 가능한 학습 알고리즘을 갖는다.
• 강건한 일반화 하에서는 해결 가능한 학습 과제가 있지만, 차별적 비밀유지 하에서는 해결 불가능한 과제가 존재함을 보여, 강건한 일반화가 차별적 비밀유지보다 엄격히 약하다는 것을 증명한다.
• 완벽한 일반화가 차별적 비밀유지보다 엄격히 강하다는 것은, 완벽한 일반화를 만족하지만 차별적 비밀유지를 만족하지 않는 메커니즘이 존재한다는 것으로 입증된다.
• 라플라스 메커니즘은 강건한 일반화를 만족하며, $(\beta, \tilde{\theta}(\beta, \frac{1}{\beta}))$-강력한 일반화를 만족한다. 이에 대해 $\beta$-강력한 일반화 매개변수의 하한은 $\tilde{\theta}(\beta \times \frac{1}{\beta})$이다.
• 군집 비밀유지는 모든 $(\beta, \tilde{\theta}(\beta, \frac{1}{\beta}))$-차별적 비밀유지 메커니즘을 $(0, n\beta, ne^{(n-1)\beta}\tilde{\theta}(\beta, \frac{1}{\beta}))$-완벽하게 일반화 가능하게 하지만, 상당한 매개변수 증가가 수반된다.
• $(\beta, \tilde{\theta}(\beta, \frac{1}{\beta}))$-완벽하게 일반화 가능한 메커니즘의 복합은 군집 비밀유지에 의한 직접 감소보다 더 우수한 일반화 성능을 보이며, 이는 완벽한 일반화를 더 스케일러블한 방식으로 달성할 수 있음을 시사한다.