[논문 리뷰] The Effects of Hyperparameters on SGD Training of Neural Networks

Thomas M. Breuel|arXiv (Cornell University)|2015. 08. 12.

Machine Learning and Data Classification참고 문헌 1인용 수 52

한 줄 요약

이 논문은 피드포워드 신경망의 SGD 학습에서 학습률, 배치 크기, 활성화 함수, 출력층 유형과 같은 핵심 초기화값이 미치는 영향을 조사한다. MNIST를 사용하여 실험한 결과, 훈련 오차는 더 높지만 테스트 오차는 일관되게 1.0%로 더 낮은 로지스틱 출력이 소프트맥스보다 우수한 성능(1.1%)을 보였으며, 특히 깊은 네트워크에서 시그모이드 유닛에 비해 ReLU 유닛이 훈련 안정성과 확장성 면에서 뚜렷한 개선을 보였다.

ABSTRACT

The performance of neural network classifiers is determined by a number of hyperparameters, including learning rate, batch size, and depth. A number of attempts have been made to explore these parameters in the literature, and at times, to develop methods for optimizing them. However, exploration of parameter spaces has often been limited. In this note, I report the results of large scale experiments exploring these different parameters and their interactions.

연구 동기 및 목표

• 학습률, 배치 크기, 활성화 함수, 출력층 유형과 같은 초기화값이 신경망 학습 성능에 미치는 영향을 체계적으로 평가하는 것.
• 특히 초기화값 상호작용에 대한 이전 연구가 제한적이었기 때문에, 일반적으로 사용되는 아키텍처와 최적화 선택이 최적인지 조사하는 것.
• 소프트맥스 출력과 ReLU 유닛의 우월성에 대한 가정을 다양한 학습 조건에서 테스트하여 도전하는 것.
• MNIST에서 대규모 실험을 통해 도출된 경험적 결과를 바탕으로, 초기화값 탐색 및 모델 선택을 위한 실용적 지침을 제공하는 것.

제안 방법

• 완전히 연결된 네트워크를 사용하여 테이블러드된 MNIST 데이터와 함께 Torch 라이브러리 및 CUDA를 활용해 대규모 실험을 수행했다.
• 출력층 유형의 영향을 분리하기 위해 동일한 아키텍처와 학습 프로토콜을 사용하여 로지스틱과 소프트맥스 출력층을 비교했다.
• 수천 번의 학습 실행 동안 학습률, 배치 크기, 은닉 유닛 수를 다양화하여 초기화값 공간 전반의 성능을 맵핑했다.
• 일반화 성능를 시각화하기 위해 훈련 오차 대비 테스트 오차의 산점도를 사용했다.
• 단일 샘플 업데이트와 더 큰 배치를 비교하여 배치 크기의 영향을 분석하고 수렴성과 오차율을 평가했다.
• 얕은 네트워크와 깊은 네트워크에서 ReLU와 시그모이드 활성화 함수를 평가하여 훈련 안정성과 테스트 정확도에 미치는 영향을 측정했다.

실험 결과

연구 질문

• RQ1 로지스틱과 소프트맥스 유형의 다른 출력층은 SGD로 학습된 신경망의 테스트 세트 오차와 일반화에 어떤 영향을 미치는가?
• RQ2 다양한 출력층 유형과 활성화 함수에 적합한 최적의 학습률 범위와 배치 크기 범위는 무엇인가?
• RQ3 다양한 네트워크 깊이에서 ReLU와 시그모이드 활성화 함수는 훈련 안정성, 확장성, 테스트 성능 측면에서 어떻게 비교되는가?
• RQ4 특히 학습률, 배치 크기, 출력 유형 간의 상호작용은 모델 일반화에 얼마나 큰 영향을 미치는가?
• RQ5 네트워크 깊이를 늘리면 테스트 세트 오차가 향상되는가? 이는 활성화 함수와 배치 크기에 따라 어떻게 달라지는가?

주요 결과

• 로지스틱 출력층은 MNIST에서 테스트 오차 1.0%를 기록하여 소프트맥스 출력층(1.1%)보다 우수한 성능을 보였으며, 이는 후자의 훈련 오차가 더 낮음에도 불구하고 동일한 결과를 얻었다.
• 소프트맥스 출력층은 최적 성능을 달성하기 위해 로지스틱 출력층보다 약 10배 정도 작은 학습률이 필요했으며, 이는 서로 다른 최적의 초깃값 영역을 의미한다.
• ReLU 유닛은 특히 깊은 네트워크에서 시그모이드 유닛에 비해 훈련 안정성과 확장성 면에서 뚜렷한 개선을 보였으며, 배치 크기 의존성도 감소시켰다.
• 큰 배치 크기는 일반적으로 학습 속도 향상 효과를 내지 못했으며, 이는 샘플당 학습률을 비례적으로 낮춰야 하기 때문이었고, 이로 인해 좋은 초깃값의 가능 범위가 좁아졌다.
• 초깃값 간의 상호작용은 매우 복잡했으며, 개별적으로 성능 향상을 이룬 설정이 조합될 때 성능 향상이 누적되지 않았고, 일부 설정은 개별적으로는 잘 작동하지만 조합 시 실패하는 경우가 있었다.
• 초깃값 최적화는 평균 성능을 최적화하는 것보다 여러 랜덤 초기화에 대한 최소 오차를 최소화하는 데 초점을 맞춰야 하며, 이는 더 견고한 결과를 얻을 수 있다.