[논문 리뷰] Big Neural Networks Waste Capacity

Yann Dauphin, Yoshua Bengio|arXiv (Cornell University)|2013. 01. 16.

Neural Networks and Applications참고 문헌 11인용 수 49

한 줄 요약

이 논문은 1차 미분 경사하강법을 사용하는 대규모 피드포워드 신경망이 증가된 용량을 효과적으로 활용하지 못함을 보여주며, 추가된 은닉 유닛당 훈련 오차 감소가 급격히 감소함—단순한 백업 템플릿 매칭기준보다 악화됨. 저자들은 이를 나쁜 조건의 헤시안 행렬로 인한 최적화 실패로 규명하고, ImageNet과 같은 대규모 데이터셋에서 성능 향상을 해제하기 위해 제2차 또는 자연 경사 최적화 방법이 필요하다고 제안함.

ABSTRACT

This article exposes the failure of some big neural networks to leverage added capacity to reduce underfitting. Past research suggest diminishing returns when increasing the size of neural networks. Our experiments on ImageNet LSVRC-2010 show that this may be due to the fact there are highly diminishing returns for capacity in terms of training error, leading to underfitting. This suggests that the optimization method - first order gradient descent - fails at this regime. Directly attacking this problem, either through the optimization method or the choices of parametrization, may allow to improve the generalization error on large datasets, for which a large capacity is required.

연구 동기 및 목표

• ImageNet과 같은 대규모 데이터셋에서 신경망 용량을 증가시키면 훈련 오차 감소가 향상되는지 조사하기.
• 추가된 용량을 활용하지 못하는 이유가 과적합이 아니라 최적화 제약 때문인지 확인하기.
• 헤시안의 악조건화로 인해 1차 최적화 방법이 대규모 네트워크 용량을 효과적으로 활용하지 못하는지 평가하기.
• 보조 최적화 방법 또는 아키텍처 선택(예: 희소성, 직교성)이 용량 활용도를 향상시킬 수 있는지 탐색하기.

제안 방법

• 1층 다층퍼셉트론(MLP)을 사용하여 ImageNet LSVRC-2010 데이터셋에서 다양한 은닉 유닛 수(1000에서 15,000까지)로 실험 수행.
• 학습률 감쇠와 학습률(0.1, 0.01)에 대한 격자 탐색을 통한 확률적 경사하강법으로 오차 최소화.
• 추가 용량의 수익률(ROI)은 추가된 은닉 유닛당 감소한 훈련 오차 수로 측정됨.
• MLP 성능 비교를 위해, 추가 유닛당 최소한 하나의 오차를 제거하는 단순한 템플릿 매칭기 기반 백업 기준 설정.
• 큰 네트워크에서 은닉 유닛 간 상호작용 증가로 인해 헤시안의 악조건화가 최적화 실패의 원인일 것이라 추측함.
• 데이터 로딩을 효율적으로 하기 위해 Theano와 GPU 클러스터를 사용하였으며, 최대 300 에포크 동안 훈련 수행.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에서 신경망의 은닉 유닛 수를 늘리면 훈련 오차 감소가 비례적으로 증가하는가?
• RQ2 더 많은 파라미터를 가진 대규모 신경망이 추가 용량을 효과적으로 활용하지 못하는 이유는 무엇인가?
• RQ3 이러한 실패가 악조건의 헤시안 행렬이나 국소 최적점 증가 등의 최적화 문제 때문인지 여부는 무엇인가?
• RQ4 용량이 높을 경우 1차 최적화 방법인 SGD가 매우 깊거나 넓은 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ5 더 단순한 모델인 K-평균이 용량 활용도에서 딥 네트워크를 능가하는가, 그리고 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• 1층 시그모이드 MLP에서 은닉 유닛 수를 1000에서 2000으로 늘릴 경우, 추가 용량의 수익률(ROI)이 10배 감소함.
• 5000개 이상의 은닉 유닛을 초과하면, MLP는 추가 유닛당 최소한 하나의 오차를 제거하는 단순한 템플릿 매칭기 백업 기준을 뛰어넘지 못함.
• 5000개 이상의 유닛을 가진 네트워크의 훈련 오차 곡선은 동일한 지점으로 수렴함—수익 감소와 성능 정체를 나타냄.
• 훈련 오차 곡선의 도함수(ROI)는 급격히 감소함—추가 용량을 활용하는 것이 점점 더 어려워짐을 시사함.
• 최적화 실패의 원인은 헤시안의 악조건화로 인한 것으로 보이며, 이는 더 큰 네트워크에서 은닉 유닛 간 상호작용 증가로 인한 것일 가능성 있음.
• 결과적으로 1차 경사하강법이 고용량 영역에서는 효과적이지 않으며, 제2차 또는 자연 경사 최적화 방법이 필요하다는 점을 시사함.