[논문 리뷰] Smoothed Analysis of Online and Differentially Private Learning

Nika Haghtalab, Tim Roughgarden외 1명|arXiv (Cornell University)|2020. 06. 17.

Machine Learning and Algorithms참고 문헌 27인용 수 5

한 줄 요약

이 논문은 온라인 및 차별적(private) 학습을 위한 스무스 분석 프레임워크를 제안하며, 약간의 흐린(σ-스무스) 입력이 있을 경우, 손실(regret)과 프라이버시 오차 경계가 VC 차원과 브라켓팅 수(number)에만 의존하고 무한한 리틀스타인 차원에 의해 영향을 받지 않는다는 것을 보여준다. 이는 선형 임계값과 같은 클래스에서의 악성 경우 불가능 결과를 극복하고 현실적인 반무작위 데이터 모델에서 거의 최적의 보장을 달성한다.

ABSTRACT

Practical and pervasive needs for robustness and privacy in algorithms have inspired the design of online adversarial and differentially private learning algorithms. The primary quantity that characterizes learnability in these settings is the Littlestone dimension of the class of hypotheses [Ben-David et al., 2009, Alon et al., 2019]. This characterization is often interpreted as an impossibility result because classes such as linear thresholds and neural networks have infinite Littlestone dimension. In this paper, we apply the framework of smoothed analysis [Spielman and Teng, 2004], in which adversarially chosen inputs are perturbed slightly by nature. We show that fundamentally stronger regret and error guarantees are possible with smoothed adversaries than with worst-case adversaries. In particular, we obtain regret and privacy error bounds that depend only on the VC dimension and the bracketing number of a hypothesis class, and on the magnitudes of the perturbations.

연구 동기 및 목표

• 온라인 및 차별적(private) 학습의 근본적 한계를 해결하기 위해, 유한한 리틀스타인 차원이 필요로 하지만 실용적 가설 클래스에서 자주 위반되는 조건을 다루기 위함.
• 선형 임계값에 대해 무한한 손실이 발생하는 것과 같은 악성 경우 불가능 결과가 현실적인 데이터 흐림에 의해 파손될 수 있음을 보여주기 위함.
• 입력이 자연에 의해 흐려지는 스무스한 적대자 모델 하에서, 강력한 손실 및 프라이버시 오차 보장을 갖는 알고리즘을 설계하기 위함.
• 이 반무작위 모델에서 성능을 결정하는 것이 리틀스타인 차원이 아니라 VC 차원과 브라켓팅 수임을 입증하기 위함.
• 악성 경우 분석을 넘어서 실제 환경에서의 강건하고 프라이버시 보장된 학습을 위한 엄밀한 이론적 기반을 제공하기 위함.

제안 방법

• 입력이 균일 분포의 1/σ 배 이내로 밀도가 제한된 분포에서 추출되는 σ-스무스 적대자 모델을 도입하여, 측정 노이즈나 불확실성을 반영한다.
• 목표 σ-스무스 분포에서 표본을 생성하기 위해 균일 추출과 확률 밀도 비례 수락 확률을 사용하는 기각 샘플링(rejection sampling)을 적용한다.
• 이산화된 가설 공간에서 질의 오차를 사전적으로 추정하기 위해, 서브샘플링된 넷을 사용한 지수 기반 메커니즘을 활용하여 차별적(private) 보장을 확보한다.
• 표본 수가 필요한 정도와 진짜 분포를 근사할 때의 오차를 제어하기 위해 농도 경계와 체르노프 유사 부등식을 활용한다.
• σ-스무스 분포가 작은 간격에 대해 제한된 질량을 가지므로, 효율적인 학습을 위해 O(1/σ)개의 가설로 이산화할 수 있음을 활용한다.
• 서브샘플링을 통한 분포 근사와 차별적(private) 보장 기반 오차 경계를 결합하여 질의 응답의 오차를 제한한다.

실험 결과

연구 질문

• RQ1 적대적 입력이 자연에 의해 약간 흐려질 경우, 온라인 및 차별적(private) 학습이 강력한 보장을 달성할 수 있는가?
• RQ2 온라인 및 프라이버시 학습에서 알려진 악성 경우 불가능 결과가 스무스 분석 하에서도 여전히 성립하는가?
• RQ3 VC 차원과 브라켓팅 수가 스무스 온라인 및 프라이버시 학습에서 리틀스타인 차원을 대체할 수 있는가?
• RQ4 손실과 프라이버시 오차가 흐림 정도 σ와 가설 클래스 복잡도에 어떻게 의존하는가?
• RQ5 리틀스타인 차원이 무한한 경우에도, 스무스 적대자 모델 하에서 거의 최적 성능을 달성하는 효율적인 알고리즘을 설계할 수 있는가?

주요 결과

• 온라인 학습의 경우, 손실 경계는 무한한 리틀스타인 차원으로 인한 무한한 손실이 아니라 VC 차원과 흐림 정도 σ에 따라 결정된다.
• 차별적(private) 학습에서는 오차 경계가 O(√[3]{(d log(1/σ) + log(1/η))/ϵn}) 이며, 여기서 d는 VC 차원, σ는 스무스성 파라미터, η는 실패 확률이다.
• 서브샘플링된 넷 메커니즘은 VC 차원과 흐림 정도에만 의존하는 고확률 오차 경계를 달성하며, 가설 클래스의 리틀스타인 차원과는 무관하다.
• 정확한 근사화를 위한 표본 수는 O((log(1/η) + d)/(σγ²)) 이며, 이는 스무스성 하에서의 효율성을 보여준다.
• 이 프레임워크는 선형 임계값과 같은 리틀스타인 차원이 무한한 가설 클래스의 프라이버시 학습을 현실적인 데이터 흐림 조건 하에서 가능하게 한다.
• 결과적으로 악성 경우 하한 경계가 파손됨을 보여주며, 자연이 적대적 입력을 흐리게 할 경우 강력한 보장이 가능함을 입증한다.