[논문 리뷰] An Approximation Algorithm for training One-Node ReLU Neural Network

Santanu S. Dey, Guanyi Wang외 1명|arXiv (Cornell University)|2018. 10. 08.

Image Processing and 3D Reconstruction참고 문헌 17인용 수 6

한 줄 요약

이 논문은 일점 ReLU 신경망을 훈련하기 위한 근사 알고리즘을 제안하며, 문제의 NP-난이도를 증명하고 n^k 시간 내에 작동하는 O(n^k)-시간 알고리즘을 제공한다. 이 알고리즘은 n/k 근사 해를 보장한다. 실현 가능 케이스(훈련 오차가 0)에서는 전역 최적해를 달성하며, 가우시안 노이즈 모델 하에서 n에 의존하지 않는 渐近 근사 비율을 확보한다. 이는 히우리스틱 보완과 조합했을 때 경사 하강법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Training a one-node neural network with ReLU activation function (One-Node-ReLU) is a fundamental optimization problem in deep learning. In this paper, we begin with proving the NP-hardness of training One-Node-ReLU. We then present an approximation algorithm to solve One-Node-ReLU whose running time is $\mathcal{O}(n^k)$ where $n$ is the number of samples, $k$ is a predefined integral constant. Except $k$, this algorithm does not require pre-processing or tuning of parameters. We analyze the performance of this algorithm under various regimes. First, given any arbitrary set of training sample data set, we show that the algorithm guarantees a $\frac{n}{k}$-approximation for training One-Node-ReLU problem. As a consequence, in the realizable case (i.e. when the training error is zero), this approximation algorithm achieves the global optimal solution for the One-Node-ReLU problem. Second, we assume that the training sample data is obtained from an underlying one-node neural network with ReLU activation function, where the output is perturbed by a Gaussian noise. In this regime, we show that the same approximation algorithm guarantees a much better asymptotic approximation ratio which is independent of the number of samples $n$. Finally, we conduct extensive empirical studies and arrive at two conclusions. One, the approximation algorithm together with some heuristic performs better than gradient descent algorithm. Two, the solution of the approximation algorithm can be used as starting point for gradient descent -- a combination that works significantly better than gradient descent.

연구 동기 및 목표

• 일점 ReLU 신경망 훈련의 계산 복잡도를 규명하는 것.
• 증명 가능한 최악의 경우 성능 보장을 갖는 매개변수 없는 근사 알고리즘을 설계하는 것.
• 알고리즘의 성능을 일반 데이터 및 통계 모델 환경에서 분석하는 것.
• 알고리즘의 효과성과 경사 하강법의 초기화로써의 유용성을 경험적으로 평가하는 것.

제안 방법

• 알고리즘이 O(n^k) 시간 내에 작동하며, 사전 처리나 하이퍼파라미터 튜닝이 필요하지 않다.
• 임의의 훈련 데이터 세트에 대해 n/k 근사 해를 보장한다.
• 실현 가능 케이스(훈련 오차가 0)에서는 전역 최적해를 달성한다.
• 출력값이 가우시안 노이즈에 의해 흐트러지는 통계 모델 하에서, 알고리즘은 n에 의존하지 않는 渐近 근사 비율을 확보한다.
• ReLU 활성화 함수의 구조적 성질과 손실 함수의 기하학적 특성을 활용하여 효율적으로 유망한 해를 식별한다.
• 경험적 검증은 알고리즘과 히우리스틱을 조합하고, 그 결과물을 경사 하강법의 초기화로 사용한다.

실험 결과

연구 질문

• RQ1 일점 ReLU 훈련 문제는 NP-난이도인가?
• RQ2 임의의 데이터에 대해 성능 보장이 있는 근사 알고리즘을 설계할 수 있는가?
• RQ3 진짜 함수가 모델로 표현 가능한 실현 가능 케이스에서 알고리즘의 성능은 어떠한가?
• RQ4 가우시안 노이즈가 있는 통계 모델 하에서 알고리즘이 더 나은 근사 비율을 달성하는가?
• RQ5 알고리즘의 해가 경사 하강법의 효과적인 초기화로 활용될 수 있는가?

주요 결과

• 일점 ReLU 문제는 부분합 문제로부터의 환원을 통해 NP-난이도임을 증명하였다.
• 제안된 알고리즘은 임의의 데이터 세트에 대해 n/k 근사 해를 보장하며, k가 증가할수록 근사 비율이 향상된다.
• 실현 가능 케이스(훈련 오차가 0)에서는 전역 최적해를 달성한다.
• 가우시안 노이즈 모델 하에서, 알고리즘은 샘플 수 n에 의존하지 않는 渐近 근사 비율을 확보한다. 이는 최악의 경우 경계보다 뚜렷이 뛰어나다.
• 경험적으로, 알고리즘과 히우리스틱을 조합한 결과 표준 경사 하강법보다 뛰어난 성능을 보였다.
• 알고리즘의 출력 결과를 경사 하강법의 초기화로 사용할 경우, 무작위 초기화로 훈련하는 것보다 훨씬 뛰어난 성능을 발휘했다.