[논문 리뷰] On the Computational Efficiency of Training Neural Networks

Roi Livni, Shai Shalev‐Shwartz외 1명|arXiv (Cornell University)|2014. 10. 05.

Machine Learning and Algorithms참고 문헌 21인용 수 75

한 줄 요약

이 논문은 ReLU 또는 제곱 활성화를 사용하는 깊이-2 다항식 신경망에 대해 훈련의 계산 효율성을 재고하며, GECO라는 새로운 알고리즘을 제안한다. 이 알고리즘은 부적절 학습과 근사 텐서 최대화를 활용하여 깊이-2 다항식 신경망에 대해 증명 가능하게 효율적인 훈련을 가능하게 한다. GECO는 특히 과도한 사양 조건에서 SGD보다 더 빠른 수렴과 더 나은 일반화 성능을 보이며, 보행자 검출 및 합성 데이터에서 실용적 우수성을 입증한다.

ABSTRACT

It is well-known that neural networks are computationally hard to train. On the other hand, in practice, modern day neural networks are trained efficiently using SGD and a variety of tricks that include different activation functions (e.g. ReLU), over-specification (i.e., train networks which are larger than needed), and regularization. In this paper we revisit the computational complexity of training neural networks from a modern perspective. We provide both positive and negative results, some of them yield new provably efficient and practical algorithms for training certain types of neural networks.

연구 동기 및 목표

• 신경망 훈련의 장기적인 계산 난이도 문제를 해결하기 위해, 그들의 경험적 성공에도 불구하고.
• 최신 훈련 기법들—과도한 사양 조건, ReLU 활성화 함수, 정규화—가 향상된 알고리즘을 통해 이론적으로 정당화될 수 있는지 조사하기 위해.
• 얕은 신경망 훈련을 위한 증명 가능하게 효율적이고 실용적인 SGD 대체 방법을 개발하기 위해.
• 부적절 학습이 신경망 훈련에서 알려진 NP-난이도 결과를 우회할 수 있는지 확인하기 위해.

제안 방법

• 훈련을 텐서 구조 위에서의 비凸 최적화 문제로 공식화하는 GECO 알고리즘을 제안한다.
• 랜덤 프로젝션과 트레이스 최대화를 통한 근사 텐서 최대화를 활용하여 핵심 최적화 단계를 효율적으로 해결한다.
• 세 층으로 구성된 네트워크의 최적 파라미터 조합을 추정하기 위해 랜덤 가중치 벡터에 대한 랜덤 샘플링 전략을 활용한다.
• 학습률과 모멘타임 없이 반복 업데이트를 피하는 최적화 체계를 도입하여 계산 오버헤드를 감소시킨다.
• ReLU 또는 제곱 활성화 함수를 사용하는 깊이-2 네트워크에 이 방법을 적용하며, 데이터의 다항식 근사에 집중한다.
• 근사 해의 오차를 유계로 유지하기 위해 확률적 분석을 활용하여, 근사 최적 예측자로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 깊이-2 신경망 훈련을 위한 증명 가능하게 효율적인 알고리즘을 설계할 수 있는가, 그리고 이는 표준 SGD를 능가하는가?
• RQ2 과도한 사양 조건과 ReLU 또는 제곱 활성화 함수 같은 비선형 활성화 함수가 훈련 효율성을 얼마나 향상시키는가?
• RQ3 부적절 학습이 신경망 훈련에서 알려진 NP-난이도 결과를 우회할 수 있는가?
• RQ4 과도한 사양 조건과 배치 정규화 같은 현대 훈련 기법들의 경험적 성공에 대한 이론적 근거는 존재하는가?

주요 결과

• GECO는 보행자 검출 작업에서 100,000회 반복 후 약 0.085의 테스트 오차를 기록했으며, SGD보다 略적으로 우수한 성능을 보였다.
• GECO의 런타임은 SGD보다 현저히 빠르며, 유사한 성능에 도달하기 위해 훨씬 더 많은 반복 횟수를 요구하는 SGD에 비해 유리했다.
• 과도한 사양 조건 요인을 4(240개의 은닉 뉴런)로 설정했을 때, SGD는 요인 1일 때보다 최대 4배 빠르게 수렴했으며, 이는 과도한 사양 조건의 이점이 있음을 시사했다.
• 40개의 은닉 뉴런을 가진 깊이-2 네트워크에서 제곱 활성화 함수는 ReLU보다 略적으로 더 낮은 테스트 오차를 기록했으며, 이는 아키텍처 선택의 중요성을 시사했다.
• 이론적 분석 결과, 볼록성과 미끄러움 조건이 만족될 경우, GECO는 $ r > \frac{4d\beta k^{2}}{\epsilon(1-\tau)^{2}} $ 반복 후에 $ \epsilon $-최적 해를 고확률로 달성한다.
• 알고리즘은 랜덤 프로젝션에 대해 고확률로 $\frac{1-\tau}{\sqrt{d}}$-근사 해를 텐서 최대화 문제에 대해 보장한다.