[논문 리뷰] Evolving Deep Neural Networks by Multi-objective Particle Swarm Optimization for Image Classification

Bin Wang, Yanan Sun외 2명|arXiv (Cornell University)|2019. 03. 21.

Advanced Neural Network Applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 분류 정확도와 부동소수점 연산 수(FLOPs)를 동시에 최적화하여 성능과 효율성을 균형 잡는 다중목표 입자군집최적화(MOCNN) 프레임워크를 제안한다. 이는 DenseNet 기반 아키텍처를 위한 새로운 인코딩 전략을 도입하고, 파레토 최적 해를 탐색하기 위해 OMOPSO를 활용하며, 분산 GPU 인프라를 개발하여 거의 선형적인 속도 향상을 달성한다. CIFAR-10에서 95.51%의 정확도를 기록하며, DenseNet-121을 능가하면서도 계산 비용을 감소시켰다.

ABSTRACT

In recent years, convolutional neural networks (CNNs) have become deeper in order to achieve better classification accuracy in image classification. However, it is difficult to deploy the state-of-the-art deep CNNs for industrial use due to the difficulty of manually fine-tuning the hyperparameters and the trade-off between classification accuracy and computational cost. This paper proposes a novel multi-objective optimization method for evolving state-of-the-art deep CNNs in real-life applications, which automatically evolves the non-dominant solutions at the Pareto front. Three major contributions are made: Firstly, a new encoding strategy is designed to encode one of the best state-of-the-art CNNs; With the classification accuracy and the number of floating point operations as the two objectives, a multi-objective particle swarm optimization method is developed to evolve the non-dominant solutions; Last but not least, a new infrastructure is designed to boost the experiments by concurrently running the experiments on multiple GPUs across multiple machines, and a Python library is developed and released to manage the infrastructure. The experimental results demonstrate that the non-dominant solutions found by the proposed algorithm form a clear Pareto front, and the proposed infrastructure is able to almost linearly reduce the running time.

연구 동기 및 목표

• 높은 하이퍼파rameter 튜닝 복잡성과 정확도와 추론 지연 간의 트레이드오���으로 인해 최신 딥 CNN을 산업 응용에 구현하는 데 도전하는 문제를 해결하기 위해.
• 실제 구현을 위해 분류 정확도를 향상시키고 계산 비용(FLOPs로 측정)을 줄이는 다중목표 최적화 방법을 개발하기 위해.
• 다양한 GPU를 사용한 다중 머신 환경을 활용하여 기계 학습된 CNN 탐색의 학습 시간을 극적으로 단축하는 효율적이고 확장 가능한 인프라를 설계하기 위해.
• 산업 사용자가 정확도와 지연 시간 요구 사항에 따라 선택할 수 있도록, 비열등한(non-dominated), 파레토 최적의 CNN 아키텍처 세트를 생성하기 위해.

제안 방법

• 밀도 블록 수, 성장률, 블록당 레이어 수와 같은 핵심 하이퍼파ram터를 매개변수화하여 DenseNet 기반 CNN을 표현하는 새로운 인코딩 전략을 설계하였다.
• 분류 정확도를 최대화하고 FLOPs(추론 지연의 대체 측정 기준)를 최소화하는 두 가지 목표를 가진 다중목표 최적화 문제를 수립하였다.
• 파레토 프론트에 향하는 다양성과 수렴성을 유지하기 위해 수정된 OMOPSO 알고리즘을 사용하여 CNN 구성의 집단을 진화시켰다.
• 다중 머신에 분산된 여러 GPU를 사용하여 분산 컴퓨팅 인프라를 구현하였으며, 개별 개체의 동시 학습 및 평가를 관리하기 위해 고유의 파이썬 라이브러리를 개발하였다.
• 진화 과정은 전체 데이터셋을 사용한 완전한 학습과 Adam 옵티마이저를 사용하여, 높은 계산 비용에도 불구하고 신뢰할 수 있는 피트니스 평가를 보장하였다.
• 기본 모델인 DenseNet-121와의 공정한 비교를 위해, 표준 데이터 증강 및 학습 프로토콜을 사용하여 CIFAR-10에서 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 다중목표 입자군집최적화가 높은 분류 정확도와 낮은 계산 비용을 동시에 확보하는 깊이 신경망을 효과적으로 진화시킬 수 있는가?
• RQ2 제안된 인코딩 전략이 DenseNet 기반 아키텍처의 하이퍼파ram터 공간을 효율적으로 탐색하는 데 어떻게 기여하는가?
• RQ3 분산 GPU 인프라는 솔루션 품질을 유지하면서도 진화 기반 CNN 탐색의 실행 시간을 어느 정도 단축시킬 수 있는가?
• RQ4 정의된 탐색 공간 내에서, 진화된 CNN 아키텍처가 DenseNet-121과 같은 표준 모델보다 정확도와 FLOPs 측면에서 뛰어나게 되는가?
• RQ5 이 방법은 산업용 구현을 위해 명확한 파레토 프론트를 형성하는 비열등한 솔루션의 다양성 있는 세트를 생성할 수 있는가?

주요 결과

• 제안된 MOCNN 프레임워크는 비열등한 CNN 솔루션의 명확한 파레토 프론트를 성공적으로 생성하여 분류 정확도와 FLOPs 사이의 균형 잡힌 트레이드오프를 보여주었다.
• 최적화된 MOCNN는 동일한 탐색 공간 내에서 CIFAR-10에서 95.51%의 테스트 정확도를 달성하여, DenseNet-121(94.77%)을 능가하였다.
• 스웜에 50명의 개체가 포함된 경우, 더 느린 수렴에도 불구하고 20명의 개체가 포함된 실행보다 파레토 프론트의 더 넓은 영역을 커버하였다.
• 분산 GPU 인프라는 단일 GPU에서 약 3주가 걸리던 총 실행 시간을 약 3일(8~10개 GPU)로 단축시켜 거의 선형적인 속도 향상을 달성하였다.
• 이 방법은 계산 자원 제약 조건 하에서도 수작업으로 설계된 아키텍처인 DenseNet-121와 경쟁하거나 그 이상인 성능을 보이는 모델을 진화 탐색을 통해 도출할 수 있음을 입증하였다.