[논문 리뷰] Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2020. 06. 29.

Machine Learning and Algorithms참고 문헌 34인용 수 10

한 줄 요약

이 논문은 표준 정규 주변분포 하에서 반평면과 ReLU 함수를 애그노스틱하게 학습하는 데 있어, $ d^{\mathrm{poly}(1/\epsilon)} $ 수준의 근사 최적의 통계쿼리(SQ) 하한을 확립하며, 현재 알고리즘들이 표본 및 쿼리 복잡도 측면에서 사실상 최적임을 보여준다. 이러한 결과는 목표 함수와 상관관계를 가지지만 모든 저차수 다항식과 상관관계가 0인 저차수 다항식 근사식을 구성하는 데 기반한다.

ABSTRACT

We study the fundamental problems of agnostically learning halfspaces and ReLUs under Gaussian marginals. In the former problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d imes \{ \pm 1\}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with 0-1 loss $\mathrm{OPT}+ε$, where $\mathrm{OPT}$ is the 0-1 loss of the best-fitting halfspace. In the latter problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d imes \mathbb{R}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with square loss $\mathrm{OPT}+ε$, where $\mathrm{OPT}$ is the square loss of the best-fitting ReLU. We prove Statistical Query (SQ) lower bounds of $d^{\mathrm{poly}(1/ε)}$ for both of these problems. Our SQ lower bounds provide strong evidence that current upper bounds for these tasks are essentially best possible.

연구 동기 및 목표

• 표준 정규 주변분포 하에서 반평면을 애그노스틱하게 학습하는 데 있어 날카로운 통계쿼리(SQ) 하한을 확립하기.
• 동일한 분포 가정 하에 ReLU 함수를 애그노스틱하게 학습하는 데 유사한 SQ 하한을 유도하기.
• 현재 알고리즘이 표본 및 쿼리 복잡도 측면에서 거의 최적임을 강력한 이론적 증거로 제시하기.
• 정규직교다항식 기법을 사용하여, 저차수 모멘트가 모두 0이지만 목표 ReLU 또는 반평면 함수와 비트리비얼 상관관계를 가지는 함수를 구성하기.

제안 방법

• 표준 정규 주변분포 하에서 $ \mathrm{ReLU}(z) $ 를 $ [-1,1] $ 에서 근사하는 $ k $차 다항식 $ p(z) $ 를 사용하여 함수 $ f(z) = c \frac{\mathrm{ReLU}(z) - p(z)}{\phi(z)} \mathbf{1}_{[-1,1]}(z) $ 를 구성한다.
• 모든 차수 $ \leq k $ 다항식과의 상관관계를 0으로 유지하기 위해 레전드르 다항식을 활용하여, 저차수 SQ 쿼리에 의해 구별 불가능하게 한다.
• 적절히 작은 정규화 상수 $ c $ 를 선택함으로써 $ f $ 의 $ L^\infty $-노름을 유한하게 유지하여 $ |f(z)| \leq 1 $ 이 되도록 보장한다.
• $ \mathbf{E}[f(z) \mathrm{ReLU}(z)] $ 의 상한을 도출하기 위해, $ [-1,1] $ 에서 $ \mathrm{ReLU}(z) $ 와 다항식 근사식 $ p(z) $ 간의 $ L^2 $-거리 분석을 수행한다.
• 테일러 전개와 $ p(z) $ 의 도함수에 대한 경계를 사용하여, 작은 구간 $ [-\epsilon, \epsilon] $ 에서 $ (\mathrm{ReLU}(z) - p(z))^2 $ 의 적분을 하한으로 제시한다.
• 상관관계에 대해 $ \Omega(1/k^{20}) $ 의 하한을 도출하며, 이는 표준 SQ 복잡도 분석을 통해 $ d^{\mathrm{poly}(1/\epsilon)} $ 수준의 SQ 하한을 이끌어낸다.

실험 결과

연구 질문

• RQ1 표준 정규 주변분포 하에서 반평면을 애그노스틱하게 학습하는 데 있어 최적의 통계쿼리 복잡도는 무엇인가?
• RQ2 기존의 $ d^{O(1/\epsilon^2)} $-시간 알고리즘이 사실상 최적임을 증명할 수 있는가?
• RQ3 정규 입력 하에서 ReLU 함수를 애그노스틱하게 학습하는 데 있어 통계쿼리 복잡도는 무엇인가?
• RQ4 저차수 모멘트가 모두 0이지만 ReLU 함수와 비트리비얼 상관관계를 가지는 함수를 구성할 수 있는가?
• RQ5 다항식 근사의 차수는 분포 특이적 애그노스틱 학습에서 SQ 복잡도에 어떻게 영향을 미치는가?

주요 결과

• 논문은 표준 정규 주변분포 하에서 반평면을 애그노스틱하게 학습하는 데 있어 근사 최적의 SQ 하한 $ d^{\mathrm{poly}(1/\epsilon)} $ 을 확립한다.
• 동일한 분포 가정 하에 ReLU 함수를 애그노스틱하게 학습하는 데도 유사한 $ d^{\mathrm{poly}(1/\epsilon)} $ 수준의 SQ 하한을 증명한다.
• 이 하한들은 현재 $ d^{O(1/\epsilon^2)} $ 복잡도를 달성하는 알고리즘이 SQ 모델 하에서 더 이상의 개선이 불가능하므로 사실상 최적임을 시사한다.
• 첫 $ k+1 $ 개의 모멘트가 모두 0이지만 ReLU 함수와 $ \Omega(1/k^{20}) $ 수준의 상관관계를 가지는 함수의 구성은 하한 증명의 핵심 기술적 요소이다.
• 분석은 정규직교다항식 근사와 도함수 경계를 활용하여, 작은 구간에서 ReLU와 다항식 근사식 간의 $ L^2 $-거리 하한을 도출한다.
• 결과적으로 이는 현재의 최고 수준 알고리즘이 정규 주변분포 가정 하에 SQ 모델에서 최적임을 강력히 시사한다.