[논문 리뷰] Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms

Arda Sahiner, Tolga Ergen외 2명|arXiv (Cornell University)|2020. 12. 24.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 가중치 감소를 사용한 두 층의 벡터 출력 ReLU 신경망을 훈련시키는 것은 유한 차원의 볼록 공백사각형 프로그래밍을 푸는 것과 동치임을 입증하며, 데이터의 秩이 고정되어 있을 경우 전역 최소값을 찾는 데 있어 최초의 다항 시간 알고리즘을 가능하게 한다. 이는 신경망 최적화와 공백사각형 프로그래밍 사이에 깊은 연결고리를 드러내며, 특정 조건 하에서 소프트 임계값을 적용한 SVD를 통해 정확한 해를 구할 수 있고, 실질적으로 SGD의 행동을 잘 따르는 날카로운 공백사각형 리스크가 존재함을 보여준다.

ABSTRACT

We describe the convex semi-infinite dual of the two-layer vector-output ReLU neural network training problem. This semi-infinite dual admits a finite dimensional representation, but its support is over a convex set which is difficult to characterize. In particular, we demonstrate that the non-convex neural network training problem is equivalent to a finite-dimensional convex copositive program. Our work is the first to identify this strong connection between the global optima of neural networks and those of copositive programs. We thus demonstrate how neural networks implicitly attempt to solve copositive programs via semi-nonnegative matrix factorization, and draw key insights from this formulation. We describe the first algorithms for provably finding the global minimum of the vector output neural network training problem, which are polynomial in the number of samples for a fixed data rank, yet exponential in the dimension. However, in the case of convolutional architectures, the computational complexity is exponential in only the filter size and polynomial in all other parameters. We describe the circumstances in which we can find the global optimum of this neural network training problem exactly with soft-thresholded SVD, and provide a copositive relaxation which is guaranteed to be exact for certain classes of problems, and which corresponds with the solution of Stochastic Gradient Descent in practice.

연구 동기 및 목표

• 가중치 감소를 적용한 두 층의 벡터 출력 ReLU 신경망의 전역 최적화 지형을 이해하기.
• 비볼록 신경망 훈련 문제의 볼록 무한차원 쌍대 문제를 규명하기.
• 훈련 문제의 전역 최소값을 찾는 증명 가능하게 수렴하는 알고리즘 개발하기.
• 신경망 최적화와 공백사각형 프로그래밍 사이의 이론적 연결 고리 수립하기.
• 소프트 임계값을 적용한 SVD가 전역 최적해를 정확히 얻을 수 있는 조건를 특성화하기.

제안 방법

• 벡터 출력 ReLU 네트워크 훈련 문제의 볼록 무한차원 강력 쌍대 문제를 유도하여, 이가 유한 차원의 공백사각형 프로그래밍과 동치임을 보여주기.
• 완전히 양의 정합 행렬의 볼록 코어를 사용하여 쌍대 문제를 표현함으로써 신경망과 공백사각형 최적화를 연결하기.
• 쌍대 문제를 해결하기 위해 컷팅 플레인 방법을 제안하며, 일반적으로 O(n^d poly(nc))의 복잡도를 가지며, 랭크-r 데이터의 경우 O(n^r poly(nc))의 복잡도를 가짐.
• 특정 문제 클래스에 대해 정확한 공백사각형 리스크를 제안하며, 실질적으로 SGD 해와 일치함.
• 펜첼 쌍대성을 통해 일반적인 볼록 손실 함수로 확장하고, 핵심 노름 정규화를 통한 선형 활성화 네트워크로의 확장.
• 일반적인 볼록 손실 함수에 대해 프랭크-월프 방법을 쌍대 공식화에 적용하며, 수정된 형태로 적용함.

실험 결과

연구 질문

• RQ1 벡터 출력 ReLU 신경망 훈련 문제의 전역 최소값은 볼록 최적화를 통해 특성화될 수 있는가?
• RQ2 신경망 훈련과 공백사각형 프로그래밍 사이의 정확한 연결고리는 무엇인가?
• RQ3 소프트 임계값을 적용한 SVD를 통해 전역 최적해를 정확히 찾을 수 있는 조건는 무엇인가?
• RQ4 계산 복잡도는 데이터 차원과 랭크에 따라 어떻게 변화하는가?
• RQ5 SGD의 행동을 실질적으로 따르는 증명 가능하게 날카로운 리스크가 존재하는가?

주요 결과

• 벡터 출력 ReLU 신경망 훈련 문제는 유한 차원 볼록 공백사각형 프로그래밍과 동치이며, 딥러닝과 공백사각형 최적화 사이에 새로운 근본적인 연결고리를 확립한다.
• 고정된 랭크 r을 가진 데이터 행렬에 대해, 컷팅 플레인 방법을 사용하여 다항 시간 내에 전역 최소값을 찾을 수 있으며, 복잡도는 O(n^r poly(nc))이다.
• 데이터 행렬이 낮은 랭크를 가지며 특정 구조 조건을 만족할 경우, 소프트 임계값을 적용한 SVD를 통해 전역 최적해를 증명 가능하게 도달할 수 있다.
• 특정 문제 클래스에 대해 문제의 공백사각형 리스크가 정확하며, 실증적으로 SGD가 도출한 해와 일치한다.
• 펜첼 쌍대성을 통해 일반적인 볼록 손실 함수로 확장되었으며, 동일한 구조를 가지는 유한 차원 볼록 쌍대 문제를 도출한다.
• 선형 활성화 네트워크의 경우, 전역 최소값은 핵심 노름 정규화 문제에 해당하며, 유한 차원 강력 이중 문제를 갖는다.