[논문 리뷰] Approximating the Number of Relevant Variables in a Parity Implies Proper Learning

Arnab Bhattacharyya, Ameet Gadekar외 1명|arXiv (Cornell University)|2015. 02. 18.

Machine Learning and Algorithms참고 문헌 15인용 수 3

한 줄 요약

이 논문은 노이즈 없는 오류 기반 모델에서 k-파리티를 학습하기 위한 새로운 알고리즘을 제안하며, 런타임을 이전의 $inom{t}{k}$에서 $e^{-k/4.01} inom{t}{k}$로 지수적으로 향상시키면서도 동일한 샘플 복잡도를 유지한다. 또한, 노이즈 없는 k-파리티 학습이 분류 노이즈 하에서의 효율적 학습을 암시함을 보이며, 노이즈 비율이 $f(n)$과 $ olimits\alpha$에 의존함을 활용하여 소규모 노이즈 비율에서 $inom{n}{k/2}$ 런타임 장벽을 돌파한다. 주요 기여는 노이즈 있는 k-LPN에서 노이즈 없는 학습으로의 일반적인 감소 기법을 제공함으로써, 노이즈가 충분히 작을 경우 $inom{n}{k/2}$ 이하의 시간 알고리즘을 가능하게 한다.

ABSTRACT

Consider the model where we can access a parity function through random uniform labeled examples in the presence of random classification noise. In this paper, we show that approximating the number of relevant variables in the parity function is as hard as properly learning parities. More specifically, let γ:ℝ^+ → ℝ^+, where γ(x) ≥ x, be any strictly increasing function. In our first result, we show that from any polynomial-time algorithm that returns a γ-approximation, D (i.e., γ^{-1}(d(f)) ≤ D ≤ γ(d(f))), of the number of relevant variables d(f) for any parity f, we can, in polynomial time, construct a solution to the long-standing open problem of polynomial-time learning k(n)-sparse parities (parities with k(n) ≤ n relevant variables), where k(n) = ω_n(1). In our second result, we show that from any T(n)-time algorithm that, for any parity f, returns a γ-approximation of the number of relevant variables d(f) of f, we can, in polynomial time, construct a poly(Γ(n))T(Γ(n)²)-time algorithm that properly learns parities, where Γ(x) = γ(γ(x)). If T(Γ(n)²) = exp({o(n/log n)}), this would resolve another long-standing open problem of properly learning parities in the presence of random classification noise in time exp(o(n/log n)).

연구 동기 및 목표

• 샘플 효율성을 유지하면서 온라인 오류 기반 모델에서 k-파리티 학습의 시간 복잡도를 향상시키기.
• 분류 노이즈 하에서의 k-파리티 학습을 노이즈 없는 k-파리티 학습으로 일반화하는 감소 기법을 수립하기.
• 노이즈 비율 $\eta$가 충분히 작을 경우, k-LPN에서 $inom{n}{k/2}$ 런타임 장벽을 돌파할 수 있는지 보여주기.
• 노이즈 없는 학습으로의 감소 기법을 활용하여 기존 k-LPN 결과를 적대적 노이즈 설정으로 확장하기.

제안 방법

• 숨겨진 k-희소 벡터가 그 중 하나에 포함되어 있음을 유지하기 위해 애핀 부분공간의 가족 $\mathcal{S}$ 를 사용한다.
• 각 예측 오류 이후에 이러한 부분공간의 크기를 유지하고 갱신하며, 오류마다 최소한 2배 이상 크기를 줄인다.
• 각 질의에 대해 부분공간 크기를 계산하기 위해 $\ell = (1+o(1))kn/t$ 기저 벡터를 기반으로 고전적 소거법을 적용함으로써 효율적인 런타임 분석을 가능하게 한다.
• 노이즈 있는 k-LPN에서 노이즈 없는 학습으로의 감소 기법을 적용: 무작위 부분집합의 레이블을 뒤집어 노이즈를 시뮬레이션하고, 손상된 집합에 대해 노이즈 없는 학습기를 실행한다.
• 체르노프 경계와 이진 엔트로피 $H(p)$를 사용하여 올바른 가설 $x_T$가 모든 후보 가설 중에서 복구될 확률을 분석한다.
• 신뢰도 파rameter $\delta/2$ 를 사용하여 감소 기법을 적용하고, 높은 확률의 정확성을 확보하기 위해 $O(\log(1/\delta))$ 번의 반복을 통해 성공 확률을 증폭한다.

실험 결과

연구 질문

• RQ1 샘플 복잡도를 유지하면서도 오류 기반 모델에서 k-파리티 학습의 런타임을 $inom{t}{k}$를 초월해 향상시킬 수 있는가?
• RQ2 노이즈 없는 k-파리티 학습이 분류 노이즈 하에서의 효율적 학습을 암시하는가?
• RQ3 노이즈 비율 $\eta$가 $n$과 $k$에 대한 함수일 경우, k-LPN에서 $inom{n}{k/2}$ 런타임 장벽을 돌파할 수 있는가?
• RQ4 노이즈 있는 k-LPN에서 노이즈 없는 학습으로의 효율적인 일반 감소 기법이 존재하는가?

주요 결과

• 제안된 알고리즘은 $e^{-k/4.01} \binom{t}{k} \cdot \text{poly}(n) \cdot \log(1/\delta)$ 의 런타임을 달성하며, 이는 이전의 $\binom{t}{k} \cdot \text{poly}(n) \cdot \log(1/\delta)$ 에 비해 $\exp(k)$ 요소만큼 지수적으로 향상된다.
• 만약 $t = n/f(n)$ 이고 $f(n) \ll n/\log \log n$ 이면, 알고리즘은 $O(k \cdot f(n)^\alpha)$ 개의 샘플을 사용하며, $\eta = o(1/((f(n))^\alpha \log n))$ 일 경우 런타임이 $e^{-k/4.01 + o(k)} \binom{n}{k}^{1-\alpha} \cdot \text{poly}(n)$ 으로 작동한다.
• 노이즈 있는 k-LPN에서 노이즈 없는 학습으로의 감소 기법은 런타임 $inom{n}{k/2}^{1+O(H(1.5\eta))}$ 와 샘플 복잡도 $O(k \log n)$ 을 제공하며, 이는 이전의 $inom{n}{k/2}^{1+4\eta^2+o(1)}$ 에 비해 샘플 복잡도에서 향상된다.
• 노이즈 비율 $\eta$ 가 충분히 작을 경우, 즉 $\eta = o(1/((f(n))^\alpha \log n))$ 이고 $\alpha \in [1/2, 1)$ 이면, 노이즈가 있는 k-파리티에 대해 $inom{n}{k/2}$ 장벽을 돌파할 수 있다.
• 감소 기법은 레이블 손상 비율이 $\eta < 1/3$ 이하일 경우 적대적 노이즈에 대해 강건하므로, 동일한 프레임워크를 통해 결과를 적대적 설정으로 확장할 수 있다.