[논문 리뷰] Porcupine Neural Networks: (Almost) All Local Optima are Global

Soheil Feizi, Hamid Javadi외 2명|arXiv (Cornell University)|2017. 10. 05.

Neural Networks and Applications참고 문헌 33인용 수 26

한 줄 요약

이 논문은 가중치가 가중치 공간 내 고정된 직선 위에 위치하도록 제약된 두층 신경망 아키텍처인 포카핀 뉴럴 네트워크(Porcupine Neural Networks, PNNs)를 소개한다. 저자들은 가우시안 입력과 ReLU 활성화 함수 조건 하에서 PNN의 대부분의 국소 최적해가 전역 최적해임을 증명하고, PNN가 다항수의 뉴런을 사용해 제약이 없는 네트워크를 근사할 수 있음을 보여주며, 기울기 기반 학습의 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

Neural networks have been used prominently in several machine learning and statistics applications. In general, the underlying optimization of neural networks is non-convex which makes their performance analysis challenging. In this paper, we take a novel approach to this problem by asking whether one can constrain neural network weights to make its optimization landscape have good theoretical properties while at the same time, be a good approximation for the unconstrained one. For two-layer neural networks, we provide affirmative answers to these questions by introducing Porcupine Neural Networks (PNNs) whose weight vectors are constrained to lie over a finite set of lines. We show that most local optima of PNN optimizations are global while we have a characterization of regions where bad local optimizers may exist. Moreover, our theoretical and empirical results suggest that an unconstrained neural network can be approximated using a polynomially-large PNN.

연구 동기 및 목표

• 신경망에서 비볼록 최적화 문제를 해결하기 위해 가중치를 제약하여 이론적 분석을 향상시키기 위해.
• 제약된 신경망이 최적화 과정의 단순화와 함께 표현 능력을 유지할 수 있는지 조사하기 위해.
• 특정 조건 하에서 제안된 PNN 아키텍처에서 대부분의 국소 최적해가 전역 최적해임을 보여주기 위해.
• 제약이 없는 두층 ReLU 신경망이 다항수의 뉴런을 사용하는 PNN로 근사될 수 있음을 입증하기 위해.

제안 방법

• 각 은닉 유닛의 입력 가중치 벡터가 가중치 공간 내 고정된 직선 위에 위치하도록 제약된 포카핀 뉴럴 네트워크(Porcupine Neural Networks, PNNs)를 도입한다.
• 공분산이 가우시안인 입력과 ReLU 활성화 함수를 갖는 두층 PNN의 인구 위험 경관을 분석한다.
• 이중 볼록 코ーン에 제약된 가우시안 변수의 공분산에서 유도된 커널 함수를 사용해 악성 국소 최적해가 존재할 수 있는 영역을 특성화한다.
• 각도 넷 근사와 기하학적 추론을 활용해 제약이 없는 네트워크와 PNN 간의 근사 오차를 유계화한다.
• 커널 행렬의 일반화된 슈어 여부를 사용해 근사 오차의 상한을 유도한다.
• 입력 차원과 뉴런 수가 동일한 비율로 증가할 때, 랜덤 PNN의 고차원 점근적 행동을 분석한다.

실험 결과

연구 질문

• RQ1 대부분의 국소 최적해가 전역 최적해가 되는 방식으로 제약된 신경망 아키텍처를 설계할 수 있는가?
• RQ2 PNN의 최적화 경관이 악성 국소 최적해를 피하는 조건은 무엇인가?
• RQ3 입력 차원에 대해 다항수의 뉴런 수가 증가할 때, 제약이 없는 두층 ReLU 신경망을 PNN로 근사할 수 있는가?
• RQ4 제약이 없는 네트워크와 그 PNN 대응체 간의 근사 오차에 대한 이론적 상한은 무엇인가?
• RQ5 입력 차원과 뉴런 수가 증가함에 따라 근사 오차는 점차 어떻게 행동하는가?

주요 결과

• 가정된 모델링 조건 하에서 PNN의 대부분의 국소 최적해는 전역 최적해이며, 악성 국소 최적해는 특정 매개변수 영역에 국한되어 있다.
• PNN의 뉴런 수가 증가할수록 제약이 없는 두층 ReLU 신경망과 PNN 간의 근사 오차가 감소하며, 실증 결과에서는 중간 크기의 PNN에서도 작은 오차를 보였다.
• 근사 오차는 커널 행렬의 일반화된 슈어 여부의 스펙트럼 노름으로 유계화되어 있으며, 일반화에 대한 이론적 통제 수단을 제공한다.
• 입력 차원과 은닉 뉴런 수가 동일한 비율로 증가하는 고차원 영역에서 근사 오차의 점근적 극한을 명시적으로 계산하였다.
• 사소한 최소-최대 근사 상한은 지수적 수의 PNN 뉴런을 요구하지만, PNN 프레임워크는 다항 수준의 스케일링을 달성하여 뚜렷한 이점이 있음을 보여준다.
• 수치적 결과는 다항수의 뉴런을 사용하는 PNN가 중간 크기의 입력 차원에서도 제약이 없는 네트워크를 낮은 평균 제곱 오차로 근사할 수 있음을 확인한다.