[논문 리뷰] Training Neural Networks is NP-Hard in Fixed Dimension

Vincent Froese, Christoph Hertrich|arXiv (Cornell University)|2023. 03. 29.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 입력 차원 d=2에서 고정된 경우에도 두 층의 ReLU 및 선형 임계값 신경망 학습이 NP-난이도임을 증명하며, 오랫동안 미해결이었던 열린 문제를 해결한다. 네 개의 ReLU에 대해 학습 오차가 0인 경우 W[1]-난이도를 입증하고, 차원과 넓이를 매개변수로 삼을 때 볼록 맵에 대해 고정 매개변수 트랙터블리티를 확립한다.

ABSTRACT

We study the parameterized complexity of training two-layer neural networks with respect to the dimension of the input data and the number of hidden neurons, considering ReLU and linear threshold activation functions. Albeit the computational complexity of these problems has been studied numerous times in recent years, several questions are still open. We answer questions by Arora et al. [ICLR '18] and Khalife and Basu [IPCO '22] showing that both problems are NP-hard for two dimensions, which excludes any polynomial-time algorithm for constant dimension. We also answer a question by Froese et al. [JAIR '22] proving W[1]-hardness for four ReLUs (or two linear threshold neurons) with zero training error. Finally, in the ReLU case, we show fixed-parameter tractability for the combined parameter number of dimensions and number of ReLUs if the network is assumed to compute a convex map. Our results settle the complexity status regarding these parameters almost completely.

연구 동기 및 목표

• 두 층의 ReLU 및 선형 임계값 신경망 학습의 고정 매개변수 복잡도에 대한 열린 문제를 해결하기 위해.
• 입력 차원 d 또는 뉴런 수 k로 매개변수화할 때 학습이 고정 매개변수 트랙터블리티(FPT)인지 여부를 판단하기 위해.
• 특히 저차원 설정에서 신경망 학습의 계산 복잡도 지형도의 격차를 메우기 위해.
• 정확한 학습(오차가 0인 경우)에서 다루기 쉬운 경우와 어려운 경우의 경계를 명확히 하기 위해.
• 다양한 매개변수화 하에서 두 층의 네트워크에 대한 종합적인 복잡도 분류를 제공하기 위해.

제안 방법

• d=2에서 ReLU 활성화를 갖는 경우의 NP-완전 문제인 부분합 문제로의 감소를 통해 NP-난이도를 증명하기 위해.
• ReLU 출력 합의 하한을 계산하기 위해 선형 프로그래밍을 사용하여 검색 공간 내에서 강제 점을 탐지할 수 있도록 하기 위해.
• 강제 점에 기반해 동적으로 제약 조건을 강제하는 재귀적 검색 트리 알고리즘을 사용하여 재귀 깊이를 제한하기 위해.
• 가능한 다면체의 차원을 가중치 및 편향 제약 조건에 의해 정의된 다면체의 차원으로 분석하여 재귀 깊이를 O(kd)로 제한하기 위해.
• k=4개의 ReLU에 대해 오차가 0인 경우에 대해 지수 시간 가설(ETH)을 적용하여, k=4일 때의 하위지수 알고리즘을 배제하기 위해.
• 유사한 감소와 제약 조건 분석을 통해 선형 임계값 뉴런으로 결과를 확장하기 위해.

실험 결과

연구 질문

• RQ1 입력 차원 d로 매개변수화할 때 2L-ReLU-NN-Train(L)이 XP에 속하는가, 즉 (nk)^f(d) poly(L) 시간 내에 해결 가능한가?
• RQ2 입력 차원 d가 임의의 상수일 때 2L-ReLU-NN-Train(L)이 k로 매개변수화된 FPT인가, 즉 n^f(d) g(k,d) poly(L) 시간 내에 해결 가능한가?
• RQ3 k=4개의 ReLU와 오차가 0인 경우, d로 매개변수화할 때 문제의 W[1]-난이도인가?
• RQ4 강제 점 탐지 기반의 검색 트리 접근법이 양음 계수(aj ∈ {−1,1})를 가진 네트워크로 확장 가능한가?
• RQ5 d=2이고 k∈{2,3}일 때, k로 매개변수화된 ReLU 네트워크에서 FPT에 속하는가?

주요 결과

• 입력 차원 d가 고정된 2차원에서 두 층의 ReLU 네트워크 학습이 NP-난이도임을 증명하며, Arora 등 [ICLR '18]의 질문 1을 해결한다.
• k=4개의 ReLU와 오차가 0인 경우, d로 매개변수화할 때 문제의 W[1]-난이도임을 입증하며, Froese 등 [JAIR '22]의 열린 질문에 답한다.
• ReLU 네트워크가 볼록 맵을 계산할 경우, d와 k로 매개변수화할 때 문제는 고정 매개변수 트랙터블리티를 가지며, 실행 시간이 2^{O(k^2 d)} poly(k, L)임을 입증한다.
• 동일한 난이도 결과는 선형 임계값 네트워크로 확장되며, 유사한 매개변수화 하에서 NP-난이도 및 W[1]-난이도를 보인다.
• 강제 점 탐지 기반의 재귀적 검색 알고리즘은 최대 k(d+1)+1의 재귀 깊이를 보장하며, 이에 따라 2^{O(k^2 d)} 시간 알고리즘이 도출된다.
• 혼합 부호 계수(aj ∈ {−1,1})의 경우 강제 점 탐지가 불가능하여 검색 트리 방법이 일반적인 경우에 한계를 보이며, 이는 일반적 케이스에서 이 방법의 본질적 제약을 시사한다.