[논문 리뷰] Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|2021. 01. 07.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 5

한 줄 요약

이 논문은 이차 다항식 활성화를 갖는 두층 신경망을 훈련하기 위한 완전 다항식 시간의 볼록 최적화 프레임워크를 제안한다. 이는 준정방형계획(SDP)을 사용하며, 준정방형 상향이 정확한 전역 최적해를 제공함을 증명한다. 또한 정규화 선택이 계산의 타당성에 결정적인 영향을 미친다는 것을 보여주며, 가중치 감소는 NP-난해하나, 다른 볼록 페널티는 다항식 시간 최적화를 가능하게 한다.

ABSTRACT

The training of two-layer neural networks with nonlinear activation functions is an important non-convex optimization problem with numerous applications and promising performance in layerwise deep learning. In this paper, we develop exact convex optimization formulations for two-layer neural networks with second degree polynomial activations based on semidefinite programming. Remarkably, we show that semidefinite lifting is always exact and therefore computational complexity for global optimization is polynomial in the input dimension and sample size for all input data. The developed convex formulations are proven to achieve the same global optimal solution set as their non-convex counterparts. More specifically, the globally optimal two-layer neural network with polynomial activations can be found by solving a semidefinite program (SDP) and decomposing the solution using a procedure we call Neural Decomposition. Moreover, the choice of regularizers plays a crucial role in the computational tractability of neural network training. We show that the standard weight decay regularization formulation is NP-hard, whereas other simple convex penalties render the problem tractable in polynomial time via convex programming. We extend the results beyond the fully connected architecture to different neural network architectures including networks with vector outputs and convolutional architectures with pooling. We provide extensive numerical simulations showing that the standard backpropagation approach often fails to achieve the global optimum of the training loss. The proposed approach is significantly faster to obtain better test accuracy compared to the standard backpropagation procedure.

연구 동기 및 목표

• 다항식 활성화를 갖는 두층 신경망을 위한 전역 최적, 볼록 최적화 공식화를 개발한다.
• 준정방형 상향이 비볼록 훈련 문제를 정확히 재구성함을 입증한다.
• 정규화가 계산 복잡도에 미치는 영향을 분석하여, 가중치 감소가 NP-난해 문제를 유도함을 보인다.
• 벡터 출력, 컨볼루션 레이어, 풀링 레이어를 포함한 다양한 아키텍처로 볼록 공식화를 확장한다.
• 제안된 방법이 표준 백프로파게이션보다 더 높은 테스트 정확도와 더 빠른 수렴 속도를 달성함을 보여준다.

제안 방법

• 볼록 쌍대성과 S-절차를 사용하여 다항식 활성화를 갖는 두층 네트워크에 대해 등가의 준정방형계획(SDP)을 유도한다.
• 상향된 공간에서 SDP 해로부터 원래의 네트워크 가중치를 복원하기 위해 신경망 분해(Neural Decomposition) 절차를 도입한다.
• 다항식 활성화의 경우 $\mathbb{S}^{(d+1)\times(d+1)}$ 공간, 이차 활성화의 경우 $\mathbb{S}^{d\times d}$ 공간을 사용한 상향 파rameterization을 적용한다.
• 볼록 SDP 공식화가 원래의 비볼록 문제와 동일한 전역 최적해 집합을 달성함을 증명한다.
• 제곱 손실, 투명 손실, $\ell_1$ 노름 손실을 포함한 임의의 볼록 손실 함수에 이 프레임워크를 적용한다.
• 수치 실험을 위해 SCS 솔버와 CVXPY를 사용하여 볼록 프로그램의 효율적 해법을 구현한다.

실험 결과

연구 질문

• RQ1 다항식 활성화를 갖는 두층 신경망은 완전 다항식 시간 내에 전역 최적화가 가능한가?
• RQ2 정규화는 신경망 훈련의 계산 타당성에 어떤 역할을 하는가?
• RQ3 준정방형 상향이 다항식 활성화에 대해 비볼록 훈련 문제를 정확히 재구성하는가?
• RQ4 볼록 공식화는 벡터 출력, 컨볼루션, 풀링 레이어를 포함한 아키텍처로 확장 가능한가?
• RQ5 볼록 최적화 접근법의 성능은 표준 백프로파게이션 대비 테스트 정확도와 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 준정방형계획(SDP) 공식화는 원래의 비볼록 신경망 훈련 문제와 동일한 전역 최적해 집합을 달성한다.
• 정규화가 볼록적이고 타당할 경우, 입력 차원과 샘플 크기의 다항식 시간 내에 전역 최적화가 가능하다.
• 가중치 감소 정규화는 NP-난해 문제를 유도하지만, 다른 볼록 페널티는 다항식 시간 내에 해를 구할 수 있다.
• 신용 승인 및 이온오스포어와 같은 벤치마크 데이터셋에서 표준 백프로파게이션보다 훨씬 높은 테스트 정확도와 더 빠른 수렴 속도를 달성한다.
• 최적의 뉴런 수 $m^*$는 정규화 계수 $\beta$에 의해 제어되며, $\beta$가 증가할수록 $m^*$는 감소한다.
• 다항식 활성화의 이차항 계수 $a$가 분류 정확도에 가장 큰 영향을 미치며, 상수항 계수 $c$는 거의 영향을 미치지 않는다.