[논문 리뷰] Algorithms and SQ Lower Bounds for PAC Learning One-Hidden-Layer ReLU Networks

Ilias Diakonikolas, Daniel M. Kane외 2명|arXiv (Cornell University)|2020. 06. 22.

Machine Learning and Algorithms참고 문헌 30인용 수 10

한 줄 요약

이 논문은 가우시안 근사 조건 하에서 양의 가중치를 가진 한 은닉층 ReLU 네트워크에 대해 다항 시간 내에 학습 가능한 PAC 학습 알고리즘을 제안한다. 이 알고리즘은 최대 $\tilde{O}(\sqrt{\log d})$개의 은닉 유닛까지 효율적인 학습을 달성한다. 또한 임의의 실수 계수를 가진 네트워크에 대해 통계적 질의(SQ) 하한선 $d^{\Omega(k)}$를 확립하여, 양의 계수와 일반 계수 설정 간의 계산적 분리성을 입증한다.

ABSTRACT

We study the problem of PAC learning one-hidden-layer ReLU networks with $k$ hidden units on $\mathbb{R}^d$ under Gaussian marginals in the presence of additive label noise. For the case of positive coefficients, we give the first polynomial-time algorithm for this learning problem for $k$ up to $ ilde{O}(\sqrt{\log d})$. Previously, no polynomial time algorithm was known, even for $k=3$. This answers an open question posed by~\cite{Kliv17}. Importantly, our algorithm does not require any assumptions about the rank of the weight matrix and its complexity is independent of its condition number. On the negative side, for the more general task of PAC learning one-hidden-layer ReLU networks with arbitrary real coefficients, we prove a Statistical Query lower bound of $d^{Ω(k)}$. Thus, we provide a separation between the two classes in terms of efficient learnability. Our upper and lower bounds are general, extending to broader families of activation functions.

연구 동기 및 목표

• 가우시안 분포와 레이블 노이즈 조건 하에서 한 은닉층 ReLU 네트워크에 대해 증명 가능한 효율적 학습의 격차를 메우기 위해.
• 특히 가중치 행렬의 구조에 대한 가정이 없을 경우, 임의의 실수 계수를 가진 ReLU 네트워크에 대해 효율적 PAC 학습이 가능한지 여부를 규명하기 위해.
• 양의 계수와 일반 실수 계수를 가진 ReLU 네트워크의 학습 가능성 간의 계산적 분리를 확립하기 위해.
• ReLU를 넘어 보다 넓은 활성화 함수의 가족으로 결과를 확장하기 위해.

제안 방법

• 가우시안 근사 조건 하에서 양의 계수 ReLU 네트워크를 학습하기 위해 모멘트 추정과 헤르미트 다항식 전개를 기반으로 한 새로운 알고리즘 프레임워크를 개발한다.
• 통계적 질의(SQ) 모델링을 활용하여, 헤르미트 기저에서의 회전 및 대칭 연산의 행동을 분석함으로써 하한선을 증명한다.
• 활성화 함수의 $k$-parity-part 분해를 사용하여, 하한선 구성이 비영성분을 유도할 조건을 특성화한다.
• 통계적 질의에 저항하는 비자명한 성분을 탐지하기 위해 회전 연산자 $R_k$와 부호가 있는 합 연산자 $S_k$를 적용한다.
• 헤르미트 전개와 내적의 성질을 활용하여, 일부 함수 클래스가 SQ 방법을 통해 효율적으로 학습될 수 없음을 보여준다.
• ReLU 및 시그모이드 활성화 함수의 경우, $S_k\phi$ 연산자가 온건한 조건 하에 비영임을 증명하여, 어려운 인스턴스를 구성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 가우시안 근사 조건 하에서 양의 가중치를 가진 한 은닉층 ReLU 네트워크에 대해 다항 시간 내에 학습 가능한 PAC 학습 알고리즘이 존재하는가?
• RQ2 동일한 분포 가정 하에 임의의 실수 계수를 가진 ReLU 네트워크에 대해 효율적 PAC 학습이 달성될 수 있는가?
• RQ3 일반 계수를 가진 한 은닉층 ReLU 네트워크를 학습하는 데 필요한 통계적 질의 복잡도는 얼마인가?
• RQ4 동일한 프레임워크 하에서 ReLU 네트워크의 학습 가능성 특성은 다른 활성화 함수들과 비교해 어떻게 다를까?
• RQ5 SQ 하한선을 통해, 양의 계수 네트워크와 일반 계수 네트워크 간의 계산적 격차를 공식적으로 확립할 수 있는가?

주요 결과

• 논문은 가우시안 근사 조건 하에서 양의 계수를 가진 한 은닉층 ReLU 네트워크에 대해 다항 시간 내에 학습 가능한 첫 번째 PAC 학습 알고리즘을 제시한다. 이는 $k = \tilde{O}(\sqrt{\log d})$개의 은닉 유닛까지 유효하다.
• 알고리즘의 복잡도는 가중치 행렬의 조건수에 영향을 받지 않으며, 가중치 행렬의 질량에 대한 랭크 가정도 필요로 하지 않는다.
• 임의의 실수 계수를 가진 네트워크에 대해 통계적 질의(SQ) 하한선 $d^{\Omega(k)}$가 증명되었으며, 이는 $k = \omega(1)$일 경우 어떤 효율적 SQ 알고리즘도 존재하지 않음을 시사한다.
• 하한선 구성은 ReLU 및 시그모이드 활성화 함수에서 $S_k\phi$ 연산자가 영성이 아님을 기반으로 하며, 이는 활성화 함수의 $k$-parity-부분이 저차수 다항식이 아닐 경우에 성립한다.
• 결과는 더 넓은 활성화 함수의 가족으로 확장되며, 양의 계수와 일반 계수 간의 계산적 격차가 활성화 함수의 스펙트럼 성질에 기인함을 보여준다.
• 이 작업은 학습 가능성의 공식적 분리를 확립한다: 동일한 분포 가정 하에 양의 계수 네트워크는 효율적으로 학습 가능하지만, 일반 계수 네트워크는 그렇지 않다.