[논문 리뷰] Learning Halfspaces and Neural Networks with Random Initialization

Yuchen Zhang, Jason D. Lee외 2명|arXiv (Cornell University)|2015. 11. 25.

Machine Learning and Algorithms참고 문헌 29인용 수 22

한 줄 요약

이 논문은 비볼록이고 리프시츠 연속 손실 함수를 갖는 하프스페이스와 딥 네ural 네트워크 학습을 위한 랜덤 초기화 기반 알고리즘을 제안한다. 다중 랜덤 초기화와 국소 최적화를 조합함으로써, 표본 크기와 차원에 대해 다항식 시간 내에 임의로 작은 초과 위험을 달성할 수 있으며, 이는 $ (L/\epsilon^2)\log(L/\epsilon) $ 에 대해 지수적이다. 이는 표준 복잡도 가정 하에 하드네스 결과와 일치한다.

ABSTRACT

We study non-convex empirical risk minimization for learning halfspaces and neural networks. For loss functions that are $L$-Lipschitz continuous, we present algorithms to learn halfspaces and multi-layer neural networks that achieve arbitrarily small excess risk $ε>0$. The time complexity is polynomial in the input dimension $d$ and the sample size $n$, but exponential in the quantity $(L/ε^2)\log(L/ε)$. These algorithms run multiple rounds of random initialization followed by arbitrary optimization steps. We further show that if the data is separable by some neural network with constant margin $γ>0$, then there is a polynomial-time algorithm for learning a neural network that separates the training data with margin $Ω(γ)$. As a consequence, the algorithm achieves arbitrary generalization error $ε>0$ with ${ m poly}(d,1/ε)$ sample and time complexity. We establish the same learnability result when the labels are randomly flipped with probability $η<1/2$.

연구 동기 및 목표

• 비볼록이고 $ L $-리프시츠 손실 함수를 갖는 하프스페이스와 네ural 네트워크 학습을 위한 비볼록 경험 위험 최소화 문제에 도전한다.
• 랜덤 초기화 이후 국소 최적화를 수행하는 알고리즘에 대해 이론적 보장을 제공하며, 0-1 손실 최소화가 NP-난해함에도 불구하고 이를 고려한다.
• 데이터가 일정한 마진으로 선형으로 분리 가능한 경우 다항식 시간 학습이 가능한 조건을 규명한다.
• 표준 복잡도 이론적 가정 하에 시간 복잡도에서 $ 1/\epsilon $ 에 대한 지수적 의존성이 필수적인지 분석한다.
• 가중치의 $ \ell_1 $-노름이 유계인 다층 네ural 네트워크에 프레임워크를 확장하고, 마진 조건 하에서 일반화 보장을 증명한다.

제안 방법

• 단위 구면 상에서 균일한 랜덤 초기화를 사용하는 알고리즘 1을 제안하여 하프스페이스 학습의 파rameter 공간을 탐색한다.
• 최소 제곱 기반 초기화를 도입하여 랜덤 초기화 대비 수렴성과 이론적 보장을 향상시킨다.
• 다중 라운드의 랜덤 초기화 이후 국소 최적화(예: SGD)를 적용하여 열악한 국소 최적해를 피하고 낮은 초과 위험을 달성한다.
• 들어오는 가중치에 대해 $ \ell_1 $-노름 제약 조건이 있는 $ m $-층 시그모이드 활성화를 갖는 네ural 네트워크에 프레임워크를 확장한다. 이는 상수 $ B $ 로 유계이다.
• 약한 분류기 학습을 위한 서브루틴을 사용하는 방식으로 점진적으로 히든 레이어를 구축하는 새로운 학습 방법인 BoostNet(알고리즘 3)을 개발한다.
• 표준 복잡도 이론적 가정에 기반한 하드네스 결과를 활용하여, 일반적인 $ L $-리프시츠 손실 함수에 대해 $ L/\epsilon $ 에 대한 지수적 의존성이 피할 수 없다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 랜덤 초기화와 국소 최적화의 조합이 하프스페이스 학습에서 비볼록 경험 위험 최소화에 대해 임의로 작은 초과 위험을 달성할 수 있는가?
• RQ2 데이터가 일정한 마진 $ \gamma > 0 $ 으로 선형으로 분리 가능한 경우, $ L $-리프시츠 손실 함수를 갖는 하프스페이스 학습을 위한 다항식 시간 알고리즘이 존재하는가?
• RQ3 하프스페이스 학습의 본질적 시간 복잡도는 무엇이며, $ 1/\epsilon $ 에 대한 지수적 의존성을 피할 수 있는가?
• RQ4 이 프레임워크는 가중치 노름이 유계인 딥 네ural 네트워크로 확장 가능하며, 마진 조건 하에서 일반화 보장은 무엇인가?
• RQ5 제안된 BoostNet 알고리즘은 뒷전파와 비교해 높은 차수의 노이즈가 있는 파리티 함수를 학습하는 데서 어떻게 성능을 발휘하는가?

주요 결과

• 모든 $ \epsilon > 0 $ 에 대해 제안된 알고리즘은 $ n $ 과 $ d $ 에 대해 다항식 시간 내에 $ \epsilon $-초과 위험을 달성하지만, $ (L/\epsilon^2)\log(L/\epsilon) $ 에 대해 지수적이다. 이 지수적 항목은 $ \text{RP} \neq \text{NP} $ 라는 가정 하에 필수적이다.
• 데이터가 일정한 마진 $ \gamma > 0 $ 으로 $ \gamma $-분리 가능한 경우, 일반화 오차 $ \epsilon $ 를 달성하는 데 다항식 시간 및 표본 복잡도 $ \text{poly}(d, 1/\epsilon) $ 가 보장된다.
• 레이블이 확률 $ \eta < 1/2 $ 로 무작위로 뒤집혀져도 알고리즘이 여전히 일반화 성능을 유지한다.
• BoostNet 은 특히 높은 차수의 파리티 함수(예: $ p=5 $)에서 뒷전파보다 뛰어난 성능을 보이며, 이 경우 뒷전파가 일반화에 실패한다.
• 이론적 분석을 통해 $ 1/\epsilon $ 에 대한 지수적 의존성이 표준 복잡도 가정 하에 피할 수 없음을 보여주며, 이는 경계가 날카로운 것임을 시사한다.
• 랜덤 초기화의 이론적 정당성이 있다: 다중 라운드 초기화로 좋은 국소 최적해를 찾을 확률이 높아지며, 더 나은 초기화(예: 최소 제곱)는 더 강력한 보장을 이끈다.