[논문 리뷰] Closure Properties for Private Classification and Online Prediction

Noga Alon, Amos Beimel외 2명|arXiv (Cornell University)|2020. 03. 10.

Machine Learning and Algorithms참고 문헌 39인용 수 4

한 줄 요약

이 논문은 기저 클래스 $\mathcal{H}$ 에서 임의의 규칙 $G$ 를 통해 함수를 융합하여 구성된 복합 가설 클래스 $\mathcal{H}'$ 의 리틀스타인 차원이 $\mathcal{H}$ 의 리틀스타인 차원에 따라 유계임을 보여줌으로써, 미분적 비밀보장성 있는 학습 및 온라인 학습에 대한 닫힘 성질를 확립한다. 또한, 기존 클래스의 복잡성에 대한 더 나은 의존도를 가지며 거의 최적의 표본 복잡도를 달성하는, 기존의 비밀보장성 학습기에서 $\mathcal{H}'$ 를 위한 비밀보장성 학습기로 변환하는 알고리즘을 제시한다.

ABSTRACT

Let~$\cH$ be a class of boolean functions and consider a {\it composed class} $\cH'$ that is derived from~$\cH$ using some arbitrary aggregation rule (for example, $\cH'$ may be the class of all 3-wise majority-votes of functions in $\cH$). We upper bound the Littlestone dimension of~$\cH'$ in terms of that of~$\cH$. As a corollary, we derive closure properties for online learning and private PAC learning. The derived bounds on the Littlestone dimension exhibit an undesirable exponential dependence. For private learning, we prove close to optimal bounds that circumvents this suboptimal dependency. The improved bounds on the sample complexity of private learning are derived algorithmically via transforming a private learner for the original class $\cH$ to a private learner for the composed class~$\cH'$. Using the same ideas we show that any ({\em proper or improper}) private algorithm that learns a class of functions $\cH$ in the realizable case (i.e., when the examples are labeled by some function in the class) can be transformed to a private algorithm that learns the class $\cH$ in the agnostic case.

연구 동기 및 목표

• 기저 클래스 $\mathcal{H}$ 에서 $k$ 개의 함수를 임의의 규칙 $G$ 를 통해 융합하여 구성된 복합 가설 클래스 $\mathcal{H}'$ 의 리틀스타인 차원이 $\mathcal{H}$ 의 리틀스타인 차원에 따라 유계로 표현될 수 있는지 조사하기.
• 비밀보장성 학습에 대한 닫힘 성질를 확립하여, 클래스 $\mathcal{H}$ 가 비밀보장성으로 학습 가능하다면, $\mathcal{H}$ 에서 $k$ 개의 함수를 $G$ 로 융합한 클래스 역시 비밀보장성으로 학습 가능하다는 것을 보여주기.
• 기존의 비밀보장성 학습기에서 $\mathcal{H}$ 를 위한 비밀보장성 학습기로 변환하는 효율적인 비밀보장성 알고리즘을 설계하여, 거의 최적의 표본 복잡도를 달성하기.
• 특히 리틀스타인 차원을 공유하는 조합적 특성들을 활용하여, 온라인 학습과 비밀보장성 학습 간 격차를 메우기.

제안 방법

• 기저 클래스 $\mathcal{H}$ 에서 각 개별 구성 요소 $h_i$ 를 사전에 학습하는 비밀보장성 경험 학습기들을 사용하여, 복합 가설 클래스 $\mathcal{H}'$ 를 위한 비밀보장성 학습기를 재귀적으로 구성하는 변환 알고리즘 $\mathcal{A}_{\rm ClosureLearn}$ 을 제안한다.
• 합집합 경계와 농도 불등식을 사용하여, 복합 가설 $G(h_1,\dots,h_k)$ 의 오차가 높은 확률로 유계임을 보장한다.
• 소어-섀일-페르레스 보조정리를 적용하여, 복합 클래스 $G(\mathcal{H}_1,\dots,\mathcal{H}_k)$ 의 VC 차원을 개별 클래스의 VC 차원의 합에 따라 유계로 제한한다.
• 각 단계에서 비밀보장성과 정확도를 확보하기 위해, 매개변수 $\left(\frac{\alpha}{k}, \frac{\beta}{k}\right)$ 를 갖는 비밀보장성 경험 학습을 적용한다.
• 표본 추출 및 비밀보장성 부스팅 기법을 활용하여 $\varepsilon$-미분적 비밀보장성을 달성하고 정확도를 향상시키며, 이로 인해 표본 복잡도가 $O(1/\varepsilon)$ 와 $O(1/\alpha)$ 의 요소만큼 증가한다.
• 리틀스타인 차원과 온라인 학습, 비밀보장성 학습 간의 연결 고리를 활용하여, 위험도와 표본 복잡도에 대한 유계를 도출한다.

실험 결과

연구 질문

• RQ1 기저 클래스 $\mathcal{H}$ 에서 $k$ 개의 함수를 임의의 규칙 $G$ 를 통해 융합하여 구성된 복합 클래스 $\mathcal{H}' = \{G(h_1,\dots,h_k) \mid h_i \in \mathcal{H}\}$ 의 리틀스타인 차원이 기저 클래스 $\mathcal{H}$ 의 리틀스타인 차원에 따라 유계로 표현될 수 있는가?
• RQ2 기저 클래스 $\mathcal{H}$ 에 대해 비밀보장성 학습기가 존재할 경우, 이는 $\mathcal{H}'$ 에 대해서도 거의 최적의 표본 복잡도를 갖는 비밀보장성 학습기를 존재하게 하는가?
• RQ3 실현 가능한 경우에 대해 비밀보장성 학습기를 갖는 $\mathcal{H}$ 는, 일반화된 경우에도 비밀보장성 학습기로 변환될 수 있는가?
• RQ4 기본 클래스 $\mathcal{H}$ 를 학습하는 데 필요한 표본 복잡도에 비해, $\mathcal{H}'$ 를 비밀보장성으로 학습하는 데 필요한 표본 복잡도는 어떻게 되는가?

주요 결과

• 기저 클래스 $\mathcal{H}$ 에서 $k$ 개의 함수를 융합하여 구성된 복합 클래스 $\mathcal{H}'$ 의 리틀스타인 차원은 $\mathcal{H}$ 의 리틀스타인 차원에 관한 함수로 유계로 표현되며, 이는 온라인 학습에 대한 닫힘 성질를 해결한다.
• 제안된 알고리즘 $\mathcal{A}_{\rm ClosureLearn}$ 은 $O(\alpha)$ 오차를 확률 $1 - O(\beta + \delta \sum_{i=1}^k |S_i|)$ 이상으로 달성하여, 정확도와 비밀보장성 모두를 보장한다.
• 알고리즘 $\mathcal{A}_{\rm ClosureLearn}$ 의 표본 복잡도는 $\tilde{O}\left(\sum_{i=1}^k m_i\left(\frac{\alpha}{k}, \frac{\beta}{k}, 1, \delta\right)\right) \cdot \mathrm{poly}(k, 1/\alpha, \log(1/\beta))$ 로 표현되며, 이는 이전의 유계보다 $k$ 와 $\alpha$ 에 대한 의존도가 향상되었다.
• 표본 추출을 통해 표본 복잡도를 $O(1/\varepsilon)$ 배 증가시켜 $\varepsilon$-미분적 비밀보장성을 달성하며, 원하는 정확도와 신뢰도로 부스팅이 가능하다.
• 표준 리틀스타인 차원 유계에서 보이는 지수적 의존도를 피하기 위해, 철저한 오차 전파를 고려한 재귀적 비밀보장성 학습 접근법을 사용함으로써, 이 문제를 회피한다.
• 결과적으로, 비밀보장성 학습이 융합에 대해 닫혀 있음을 보여주며, $\mathcal{H}$ 가 비밀보장성으로 학습 가능하다면, $\mathcal{H}'$ 역시 실현 가능한 경우에서의 변환을 통해 일반화된 설정에서도 비밀보장성으로 학습 가능하다.