[논문 리뷰] Optimization of Convolutional Neural Network using Microcanonical Annealing Algorithm

Vina Ayumi, L. M. Rasdi Rere외 2명|arXiv (Cornell University)|2016. 10. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 15

한 줄 요약

이 논문은 새로운 메타휴리스틱 최적화 기법인 마이크로칸토닉 냉각(MA)을 제안하여 컨volutional 신경망(CNN)의 성능을 향상시킨다. 마이크로칸토닉 집합에서 에너지 기반 탐색을 활용함으로써, 표준 CNN을 초월하는 분류 정확도를 달성하였으며, 계산 시간이 1.02배에서 1.38배 증가함에도 불구하고 CIFAR-10에서 99.14%의 상위-1 정확도를 기록하여 최신 기술을 초월한다.

ABSTRACT

Convolutional neural network (CNN) is one of the most prominent architectures and algorithm in Deep Learning. It shows a remarkable improvement in the recognition and classification of objects. This method has also been proven to be very effective in a variety of computer vision and machine learning problems. As in other deep learning, however, training the CNN is interesting yet challenging. Recently, some metaheuristic algorithms have been used to optimize CNN using Genetic Algorithm, Particle Swarm Optimization, Simulated Annealing and Harmony Search. In this paper, another type of metaheuristic algorithms with different strategy has been proposed, i.e. Microcanonical Annealing to optimize Convolutional Neural Network. The performance of the proposed method is tested using the MNIST and CIFAR-10 datasets. Although experiment results of MNIST dataset indicate the increase in computation time (1.02x - 1.38x), nevertheless this proposed method can considerably enhance the performance of the original CNN (up to 4.60\%). On the CIFAR10 dataset, currently, state of the art is 96.53\% using fractional pooling, while this proposed method achieves 99.14\%.

연구 동기 및 목표

• 깊은 CNN을 최적화하는 데 있어 여전히 계산 비용이 높고 하이퍼파rameter 초기화에 민감한 문제를 해결하기 위해.
• 물리학에서 영감을 받은 메타휴리스틱인 마이크로칸토닉 냉각(MA)이 기존 최적화 방법(예: 시뮬레이티드 어닐링 또는 유전 알고리즘)의 대안이 될 수 있는지 탐색하기 위해.
• MA의 효과성을 표준 벤치마크인 MNIST 및 CIFAR-10에서 CNN의 정확도 향상 측면에서 평가하기 위해.
• 표준 CNN 및 최신 기술 모델과의 정확도 및 학습 시간 측면에서 MA 최적화 CNN의 성능을 비교하기 위해.

제안 방법

• 제안된 방법은 CNN의 학습 루프에 마이크로칸토닉 냉각(MA)을 통합하여, 온도 기반 수용 기준 대신 에너지 기반 탐색을 사용한다.
• MA는 전체 에너지가 보존되는 마이크로칸토닉 집합에서 작동하며, 무작위 수 생성 또는 초월함수를 필요로 하지 않고 에너지 변화에 따라 전이를 수용한다.
• 알고리즘은 상태 전이 중 에너지를 흡수하거나 방출하는 '데몬'을 사용하여 에너지 보존을 보장하고 기존 시뮬레이티드 어닐링보다 더 빠른 수렴을 가능하게 한다.
• CNN 아키텍처는 표준 백프로파게이션으로 학습되지만, 가중치는 이웃 크기를 10으로 설정하고 최대 반복 수를 10으로 고정한 파ameter 공간에서 MA 기반 탐색을 통해 업데이트된다.
• 주요 하이퍼파rameter로는 운동 에너지를 100으로 설정하고, 학습률 α = 1, 배치 크기를 100으로 설정하였으며, 실험은 MNIST 및 CIFAR-10 데이터셋 모두에서 수행되었다.
• 이 방법은 MatConvNet을 수정하여 구현되었으며, 다양한 학습 에포크 수에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 표준 이미지 데이터셋인 MNIST 및 CIFAR-10에서, 마이크로칸토닉 냉각(MA)이 표준 학습 대비 컨볼루션 신경망의 분류 정확도를 향상시킬 수 있는가?
• RQ2 MA 최적화 CNN의 계산 비용은 표준 CNN과 비교해 어떻게 되며, 정확도 향상에 비해 시간 증가가 타당한가?
• RQ3 MA는 유전자 알고리즘 또는 시뮬레이티드 어닐링과 같은 기존 메타휴리스틱 최적화 방법보다 CNN 학습에서 더 우수한 성능을 보일 수 있는가?
• RQ4 MNIST 및 CIFAR-10에서 다양한 학습 에포크 수에서 MA를 사용할 경우 얻을 수 있는 최대 정확도 향상은 얼마인가?
• RQ5 특히 분수 풀링 또는 대규모 ALL-CNN 아키텍처와 비교했을 때, MA는 CIFAR-10에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MNIST 데이터셋에서 MA 최적화 CNN은 모든 테스트 에포크에서 표준 CNN 대비 최대 4.60%의 정확도 향상을 기록하였으며, 가장 높은 향상은 에포크 1에서 관찰되었다.
• 더 높은 계산 비용에도 불구하고, MA 최적화 CNN은 일관된 성능 우위를 유지하였으며, 계산 시간은 표준 CNN 대비 1.02배에서 1.38배 증가하였다.
• CIFAR-10 데이터셋에서 제안된 방법은 상위-1 정확도 99.14%를 달성하여 최신 기술인 분수 풀링 방법(96.53%)과 다른 벤치마크를 크게 초월하였다.
• 하모니 서치(72.28% 정확도)와 같은 다른 메타휴리스틱 기반 접근법보다도 MA 최적화 CNN이 뛰어난 최적화 능력을 보였다.
• 다양한 학습 에포크에서의 성능에 대해 안정성을 보였으며, MNIST에서는 일관된 정확도 향상을, 더 복잡한 CIFAR-10 데이터셋에서는 강력한 일반화 능력을 보였다.
• 결과적으로 MA는 정확도에 민감한 응용 분야에서 전통적인 최적화 기법에 비해 실현 가능하고 효과적인 대안임을 시사한다.