[논문 리뷰] Statistical-Query Lower Bounds via Functional Gradients

Surbhi Goel, Aravind Gollakota외 1명|arXiv (Cornell University)|2020. 06. 29.

Machine Learning and Algorithms참고 문헌 34인용 수 13

한 줄 요약

이 논문은 새로운 기능적 기울기 부스팅 프레임워크를 사용하여, 가우시안 조건부에서 비다항식 활성화 함수—예를 들어 ReLU, 시그모이드, 하프스페이스—를 애그노스틱하게 학습하는 데 있어 최초로 통계적 질의(SQ) 하한을 확립한다. 지수적 질의 복잡도 하한을 증명함으로써, 어떤 SQ 알고리즘도 초수학적 질의 수나 극도로 작은 정밀도를 사용하지 않으면 안 되며, 이는 이러한 문제들에 대해 일반적인 효율적 SQ 학습이 불가능하다는 것을 보여준다.

ABSTRACT

We give the first statistical-query lower bounds for agnostically learning any non-polynomial activation with respect to Gaussian marginals (e.g., ReLU, sigmoid, sign). For the specific problem of ReLU regression (equivalently, agnostically learning a ReLU), we show that any statistical-query algorithm with tolerance $n^{-(1/ε)^b}$ must use at least $2^{n^c} ε$ queries for some constant $b, c > 0$, where $n$ is the dimension and $ε$ is the accuracy parameter. Our results rule out general (as opposed to correlational) SQ learning algorithms, which is unusual for real-valued learning problems. Our techniques involve a gradient boosting procedure for "amplifying" recent lower bounds due to Diakonikolas et al. (COLT 2020) and Goel et al. (ICML 2020) on the SQ dimension of functions computed by two-layer neural networks. The crucial new ingredient is the use of a nonstandard convex functional during the boosting procedure. This also yields a best-possible reduction between two commonly studied models of learning: agnostic learning and probabilistic concepts.

연구 동기 및 목표

• 가우시안 조건부 하에서 ReLU, 시그모이드, 부호 함수와 같은 비다항식 활성화 함수를 애그노스틱하게 학습하는 데 있어 최초로 통계적 질의(SQ) 하한을 확립하는 것.
• 이전의 SQ 하한이 상관관계나 리프시츠 질의와 같은 제약 조건이 필요로 했던 점을 극복하기 위해 일반적인 통계 질의에 대해 결과를 도출하는 것.
• 두 층 신경망에 대한 기존의 SQ 차원 하한을 증폭시키기 위해 기능적 기울기 부스팅 절차를 개발하는 것.
• 애그노스틱 학습과 확률적 개념 사이의 최적의 감소를 확립하여 학습 이론에서 두 핵심 모델을 연결하는 것.
• ReLU 및 시그모이드 회귀에 대해 날카운 상한과 하한을 제공하여 SQ 효율성의 한계를 보여주는 것.

제안 방법

• 기존 연구(Diakonikolas 등, Goel 등)에서 유도된 SQ 차원 하한을 증폭시키기 위해 기울기 부스팅 절차에서 비표준의 볼록 기능을 도입한다.
• 목표 함수를 근사하고 통계적 질의를 통해 정밀도 τ 이내에서 계수를 추정하기 위해 헤르미트 다항식 전개를 사용한다.
• 진정한 가설과 추정된 가설 간의 오차를 목표 함수와의 상관관계 측면에서 유계로 제한하기 위해 코시-슈바르츠 부등식과 노름 집중 원리를 적용한다.
• 노름이 유계이고 상관관계 보장을 유지하기 위해 잘린 헤르미트 근사로부터 정규화된 가설 p를 구성한다.
• 정밀도 τ와 정확도 ε 간의 관계를 통해 질의 복잡도 하한을 유도하며, 작은 τ 또는 높은 질의 횟수는 피할 수 없음을 보여준다.
• 애그노스틱 학습과 확률적 개념 사이의 감소를 확립하여, 새로운 프레임워크 하에서 SQ 복잡도가 동등함을 보여준다.

실험 결과

연구 질문

• RQ1 일반적인 통계적 질의 알고리즘은 가우시안 조건부 하에서 ReLU 함수를 효율적으로 학습할 수 있는가?
• RQ2 가우시안 입력 하에서 비다항식 활성화 함수—예를 들어 ReLU와 시그모이드—를 애그노스틱하게 학습하는 데 있어 본질적인 질의 복잡도는 무엇인가?
• RQ3 질의 유형(예: 상관관계 또는 리프시츠 질의)에 제약을 두지 않고 실수값 학습 문제에 대해 SQ 하한을 확립할 수 있는가?
• RQ4 가우시안 조건부 하에서 ReLU, 시그모이드, 하프스페이스 학습의 SQ 복잡도는 어떻게 비교되는가?
• RQ5 통계적 질의 모델에서 애그노스틱 학습과 확률적 개념 간에 날카운 연결 고리가 존재하는가?

주요 결과

• ReLU 회귀의 경우, 임계 정밀도 τ = n^(-(1/ε)^b)를 가지는 모든 SQ 알고리즘은 상수 b, c > 0 에 대해 최소 2^{n^c}ε 개의 질의를 수행해야 하며, 이는 지수적 하한을 확립한다.
• 시그모이드 활성화 함수의 경우, 임계 정밀도 τ = n^{-Θ(log²1/ε)} 일 때 질의 복잡도는 최소 2^{n^c}ε 이며, 이는 최고의 알려진 상한과 로그 인자 수준에서 일치한다.
• 하프스페이스의 경우, 가우시안 조건부 하에서 최초로 지수적 SQ 하한을 증명하며, τ = n^{-Θ(1/ε)} 일 때 2^{n^c}ε 개의 질의가 필요하다.
• 이 결과들은 ReLU, 시그모이드, 하프스페이스에 대해 일반적인 SQ 학습 알고리즘의 가능성을 배제하며, 이는 대부분의 이전 SQ 하한이 질의 제약 조건이 필요로 했던 것과는 이례적인 대비를 이룬다.
• 이 프레임워크는 애그노스틱 학습과 확률적 개념 간에 최적의 감소를 제공하며, SQ 복잡도가 동등함을 보여준다.
• ReLU 및 시그모이드 학습에 대한 상한은 하한과 거의 일치하며, 유도된 질의 복잡도가 로그 인자 수준에서 날카로움을 나타낸다.