[논문 리뷰] Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization

Wei‐Chang Yeh, Yiping Lin외 2명|arXiv (Cornell University)|2021. 03. 06.

Advanced Neural Network Applications참고 문헌 47인용 수 11

한 줄 요약

이 논문은 경량 LeNet 합성곱 신경망의 초기화 매개변수를 최적화하기 위해 간소화된 군집 최적화(Simplified Swarm Optimization, SSO) 알고리즘을 제안한다. 이는 MNIST, 패션 MNIST, CIFAR-10 데이터셋에서 원래 LeNet 및 PSO로 최적화된 LeNet보다 높은 정확도를 달성한다. 이 방법은 인구 기반 메타휴리스틱을 사용하여 초기화 매개변수 공간을 효율적으로 탐색하며, AlexNet과 같은 더 깊은 모델로의 확장 가능성도 보여준다.

ABSTRACT

Convolutional neural networks (CNNs) are widely used in image recognition. Numerous CNN models, such as LeNet, AlexNet, VGG, ResNet, and GoogLeNet, have been proposed by increasing the number of layers, to improve the performance of CNNs. However, performance deteriorates beyond a certain number of layers. Hence, hyperparameter optimisation is a more efficient way to improve CNNs. To validate this concept, a new algorithm based on simplified swarm optimisation is proposed to optimise the hyperparameters of the simplest CNN model, which is LeNet. The results of experiments conducted on the MNIST, Fashion MNIST, and Cifar10 datasets showed that the accuracy of the proposed algorithm is higher than the original LeNet model and PSO-LeNet and that it has a high potential to be extended to more complicated models, such as AlexNet.

연구 동기 및 목표

• 합성곱 신경망(CNN)의 깊이를 늘릴수록 성능 향상 비용이 감소하는 문제를 해결하기 위해, 초기화 매개변수 최적화에 집중한다.
• 자동 초깃값 매개변수 조정을 통해 LeNet 아키텍처의 일반화 능력과 정확도를 향상시킨다.
• 새로운 간소화된 군집 최적화(SSO) 알고리즘이 CNN 초깃값 매개변수 최적화에 얼마나 효과적인지 평가한다.
• 제안된 방법이 AlexNet과 같은 더 복잡한 모델로의 확장 가능성을 입증한다.

제안 방법

• 저자는 LeNet 기반 CNN의 최적 초깃값 매개변수를 탐색하기 위해 간소화된 군집 최적화(SSO) 알고리즘을 구현한다.
• SSO는 학습률, 필터 크기, 필터 수, 완전 연결층 차원과 같은 핵심 초깃값 매개변수를 최적화하는 데 적용된다.
• 최적화 과정은 기준 데이터셋에서 검증 정확도를 기반으로 후보 해를 평가한다.
• 알고리즘은 개인 최고 성능 및 전역 최고 성능을 기반으로 반복적으로 위치를 업데이트하는 후보 해의 인구 집단을 사용한다.
• 이 방법은 세 가지 데이터셋(MNIST, 패션 MNIST, CIFAR-10)을 대상으로 교차 검증을 통해 안정성을 확보하고 테스트된다.
• SSO로 최적화된 LeNet 모델은 원래 LeNet 및 PSO로 최적화된 버전(PSO-LeNet)과 비교된다.

실험 결과

연구 질문

• RQ1 간소화된 군집 최적화(SSO)는 LeNet과 같은 경량 CNN의 초깃값 매개변수 최적화를 통해 정확도 향상을 효과적으로 달성할 수 있는가?
• RQ2 여러 기준 데이터셋에서 SSO로 최적화된 LeNet 모델은 원래 LeNet 및 PSO-LeNet과 비교해 성능가 얼마나 뛰어나게 되는가?
• RQ3 SSO 기반의 초깃값 매개변수 최적화 방법은 AlexNet과 같은 더 깊은 CNN 아키텍처로의 확장 가능성이 있는가?
• RQ4 CNN 초깃값 매개변수 탐색 맥락에서, SSO 알고리즘이 표준 PSO보다 더 빠른 수렴 속도 또는 더 우수한 일반화 성능을 달성하는가?

주요 결과

• SSO로 최적화된 LeNet은 MNIST, 패션 MNIST, CIFAR-10 세 가지 데이터셋에서 원래 LeNet보다 높은 테스트 정확도를 달성했다.
• 제안된 방법은 PSO-LeNet 기준 모델을 초월하여, 이 맥락에서 SSO가 표준 PSO보다 초깃값 매개변수 최적화에 더 효과적임을 시사한다.
• SSO로 최적화된 모델은 다양한 이미지 분류 작업에서 일관된 성능 향상을 보이며, 데이터셋 변동에 대한 강건성을 보여준다.
• 결과는 SSO 기반의 초깃값 매개변수 최적화 프레임워크가 AlexNet과 같은 더 복잡한 CNN 아키텍처로의 확장 가능성에 강력한 잠재력을 지닌다는 것을 시사한다.