[논문 리뷰] Optimization of Convolutional Neural Network Using the Linearly Decreasing Weight Particle Swarm Optimization

Tatsuki Serizawa, Hamido Fujita|arXiv (Cornell University)|2020. 01. 16.

Metaheuristic Optimization Algorithms Research참고 문헌 15인용 수 27

한 줄 요약

이 논문은 컨볼루션 신경망(CNN)에서 초기화수 조정을 자동화하기 위해 선형 감소 가중치 입자군집최적화(LDWPSO)를 제안한다. 이는 학습 효율성과 정확도를 향상시킨다. MNIST 및 CIFAR-10 데이터셋에서 LDWPSO-CNN은 각각 98.95% 및 69.37%의 상위-1 정확도를 달성하였으며, 이는 표준 LeNet-5 기반 CNN의 94.02% 및 28.07%를 크게 뛰어넘는 성능이다.

ABSTRACT

Convolutional neural network (CNN) is one of the most frequently used deep learning techniques. Various forms of models have been proposed and im-proved for learning at CNN. When learning with CNN, it is necessary to determine the optimal hyperparameters. However, the number of hyperparameters is so large that it is difficult to do it manually, so much research has been done on automation. A method that uses metaheuristic algorithms is attracting attention in research on hyperparameter optimization. Metaheuristic algorithms are naturally inspired and include evolution strategies, genetic algorithms, antcolony optimization and particle swarm optimization. In particular, particle swarm optimization converges faster than genetic algorithms, and various models have been proposed. In this paper, we pro-pose CNN hyperparameter optimization with linearly decreasing weight particle swarm optimization (LDWPSO). In the experiment, the MNIST data set and CIFAR-10 data set, which are often used as benchmark data sets, are used. By opti-mizing CNN hyperparameters with LDWPSO, learning the MNIST and CIFAR-10 datasets, we compare the accuracy with a standard CNN based on LeNet-5. As a result, when using the MNIST dataset, the baseline CNN is 94.02% at the 5th epoch, compared to 98.95% for LDWPSO CNN, which improves accuracy. When using the CIFAR-10 dataset, the Baseline CNN is 28.07% at the 10th epoch, compared to 69.37% for the LDWPSO CNN, which greatly improves accuracy. This paper is presented at the 36th Annual Conference of the Japanese Society for Artificial In-telligence. The final version is available at the following URL: https://doi.org/10.11517/pjsai.JSAI2022.0_2S4IS2b03

연구 동기 및 목표

• 고차원성으로 인해 수동적인 초기화수 조정이 비현실적인 컨볼루션 신경망(CNN)의 문제를 해결하기 위해.
• 메타휴리스틱 최적화를 활용해 최적의 초기화수를 자동으로 탐색함으로써 CNN 학습 성능을 향상시키기 위해.
• 선형 감소 관성 가중치를 가진 입자군집최적화(LDWPSO)의 성능을 표준 벤치마크 데이터셋에서 평가하기 위해.
• 정확도 및 수렴 속도 측면에서 표준 LeNet-5 기반 CNN과의 비교를 통해 LDWPSO-CNN의 성능을 평가하기 위해.

제안 방법

• 입자군집최적화(PSO)를 변형하여 선형 감소 관성 가중치(LDWPSO)를 적용하여 초기화수 최적화 과정에서 전역 탐색과 국소 탐색의 균형을 맞추기 위해.
• 스warm 내 각 입자를 CNN 초기화수의 후보 집합(예: 필터 크기, 학습률, 필터 수 등)으로 표현하기 위해.
• 고정된 학습 에포크 수 이후 검증 정확도를 기반으로 적합도 함수를 정의하여 각 입자의 초기화수 설정 성능을 평가하기 위해.
• 관성 가중치를 반복 횟수에 따라 선형적으로 감소시켜 수렴성을 향상시키며, 표준 PSO 식을 사용해 입자 위치와 속도를 업데이트하기 위해.
• LeNet-5 기반 CNN 아키텍처와 LDWPSO를 통합하여 초기화수 최적화와 네트워크 학습을 동시에 수행하기 위해.
• 고정된 반복 횟수 동안 최적화를 수행하고, 최종 평가를 위해 가장 높은 성능를 보인 초기화수 설정을 선택하기 위해.

실험 결과

연구 질문

• RQ1 LDWPSO는 일반화 및 수렴 성능 향상에 있어 CNN 초기화수 최적화에 효과적으로 기여하는가?
• RQ2 LDWPSO-CNN은 MNIST 및 CIFAR-10 데이터셋에서 표준 LeNet-5 기반 CNN과 비교해 어떻게 성능가능한가?
• RQ3 PSO에서 선형 감소 관성 가중치는 CNN 초기화수 최적화의 탐색 효율성과 정확도를 향상시키는가?
• RQ4 기준 CNN 모델과 비교해 LDWPSO는 학습 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 복잡도를 지닌 다양한 벤치마크 데이터셋에서 LDWPSO는 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• MNIST 데이터셋에서 LDWPSO-CNN은 5번째 에포크에 98.95%의 상위-1 정확도를 달성하였고, 기준 CNN은 94.02%를 기록하였다.
• CIFAR-10 데이터셋에서 LDWPSO-CNN은 10번째 에포크에 69.37%의 상위-1 정확도를 달성하였으며, 기준 CNN의 28.07%를 크게 뛰어넘었다.
• LDWPSO 방법은 고정된 초기화수를 사용하는 표준 CNN 학습보다 더 빠른 수렴성과 높은 정확도를 보였다.
• 선형 감소 관성 가중치는 탐색과 탐험의 균형을 향상시켜 더 나은 초기화수 탐색 성능을 이끌어냈다.
• 결과적으로 LDWPSO는 특히 CIFAR-10과 같은 복잡한 데이터셋에서 자동 초기화수 최적화에 효과적임을 확인하였다.
• 제안된 방법은 기본 CNN 모델의 아키텍처를 변경하지 않고도 상당한 정확도 향상을 달성하였다.