[논문 리뷰] A New Compensatory Genetic Algorithm-Based Method for Effective Compressed Multi-function Convolutional Neural Network Model Selection with Multi-Objective Optimization

Luna M. Zhang|arXiv (Cornell University)|2019. 06. 08.

Brain Tumor Detection and Classification참고 문헌 11인용 수 5

한 줄 요약

이 논문은 고정밀도 분류 정확도, 낮은 모델 크기, 빠른 추론 속도, 에너지 효율성을 균형 있게 확보하는 압축 다기능 합성곱 신경망(CMCNN)을 자동으로 선택하기 위해 새로운 보상 유전자 알고리즘(GA)을 제안한다. Inception-V4 기반 아키텍처에서 다양한 활성화 함수와 프루닝 레이어를 최적화함으로써, F1 점수, 메모리 사용량(최소 454KB), 추론 속도에서 비압축 MCNN보다 뛰어난 성능을 보이는 CMCNN를 생성한다. 최고의 모델는 최고의 F1 점수를 100% 유지하면서도 크기가 44% 작아진다.

ABSTRACT

In recent years, there have been many popular Convolutional Neural Networks (CNNs), such as Google's Inception-V4, that have performed very well for various image classification problems. These commonly used CNN models usually use the same activation function, such as RELU, for all neurons in the convolutional layers; they are "Single-function CNNs." However, SCNNs may not always be optimal. Thus, a "Multi-function CNN" (MCNN), which uses different activation functions for different neurons, has been shown to outperform a SCNN. Also, CNNs typically have very large architectures that use a lot of memory and need a lot of data in order to be trained well. As a result, they tend to have very high training and prediction times too. An important research problem is how to automatically and efficiently find the best CNN with both high classification performance and compact architecture with high training and prediction speeds, small power usage, and small memory size for any image classification problem. It is very useful to intelligently find an effective, fast, energy-efficient, and memory-efficient "Compressed Multi-function CNN" (CMCNN) from a large number of candidate MCNNs. A new compensatory algorithm using a new genetic algorithm (GA) is created to find the best CMCNN with an ideal compensation between performance and architecture size. The optimal CMCNN has the best performance and the smallest architecture size. Simulations using the CIFAR10 dataset showed that the new compensatory algorithm could find CMCNNs that could outperform non-compressed MCNNs in terms of classification performance (F1-score), speed, power usage, and memory usage. Other effective, fast, power-efficient, and memory-efficient CMCNNs based on popular CNN architectures will be developed for image classification problems in important real-world applications, such as brain informatics and biomedical imaging.

연구 동기 및 목표

• 모바일 및 생물의학 기기와 같은 자원 제약 환경에서 작동하는 컴팩트하고 고성능의 CNN을 찾는 도전 과제를 해결하기 위해.
• 단일 기능 CNN(예: ReLU 전용)의 한계를 극복하기 위해 레이어 간에 다기능 활성화 함수 구성이 가능하도록 하기 위해.
• 정확도, 모델 크기, 추론 속도, 에너지 효율성 등 여러 목표를 동시에 최적화하는 자동화된 다목적 모델 선택 프레임워크를 개발하기 위해.
• 분류 성능을 희생시키지 않은 채 딥 CNN의 계산 및 메모리 비용을 줄이기 위해.

제안 방법

• 압축 다기능 CNN(CMCNN) 아키텍처의 검색 공간을 탐색하기 위해 새로운 보상 유전자 알고리즘(GA)을 설계하였으며, 이는 다양한 수의 합성곱 레이어와 혼합 활성화 함수를 포함한다.
• 적합도 함수는 테스트 F1 점수, 모델 크기, 추론 시간, 전력 소비를 가중치가 부여된 비선형 점수로 조합하여 상호 보완적인 트레이드오프를 균형 있게 조절한다.
• 레이어 수와 활성화 함수 할당을 포함한 하이퍼파rameter에 대해 선택, 교차, 변이 연산을 적용함으로써 CMCNN의 집단을 진화시킨다.
• 기본으로 수정된 Inception-V4 아키텍처를 사용하며, Inception 블록(A, B, C)을 체계적으로 줄여 압축된 변형을 생성한다.
• 다목적 최적화 전략을 통해 파레토 최적 해를 유지함으로써 높은 성능과 최소한의 크기를 갖춘 모델을 선호한다.
• 적용자가 적합도 함수의 가중치를 조정할 수 있도록 지원하여 모델 크기나 정확도와 같은 특정 목표를 우선시할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다목적 유전자 알고리즘이 압축 다기능 CNN을 고정밀도와 저자원 소비 모두를 위해 효과적으로 최적화할 수 있는가?
• RQ2 CMCNN의 성능은 F1 점수, 메모리 사용량, 추론 속도 측면에서 비압축 MCNN와 비교해 어떻게 되는가?
• RQ3 제안된 보상 유전자 알고리즘이 최적의 CMCNN 아키텍처를 식별하는 데 있어 무작위 또는 비적응형 모델 선택보다 뛰어나다고 할 수 있는가?
• RQ4 레이어 간에 다양한 활성화 함수를 사용할 경우 모델 크기 감소가 분류 성능에 어떤 영향을 미치는가?
• RQ5 적합도 함수를 조정하여 모델의 컴팩트함을 우선시할 수 있는가? 이 경우 F1 점수는 상당히 떨어지지 않는가?

주요 결과

• 새로운 GA로 생성된 CMCNN 모델(CM_GA^4)은 454KB의 모델 크기를 확보하였으며, 비압축 MCNN(815KB)보다 44% 작아졌고, F1 점수는 유지하거나 초월하였다.
• 60개 테스트 케이스 중 58개에서 새로운 GA로 선택된 CMCNN(CM_GA^k)가 최적화되지 않은 대응 모델(CM^k)보다 F1 점수에서 뛰어났으며, CM_GA^8는 CM^8와 동일한 성능을 보였다.
• 45개의 경우 중 43개에서 새로운 GA를 사용한 CMCNN는 비압축 MCNN(M_GA^10)보다 높은 F1 점수와 낮은 메모리 사용량을 기록하여 뛰어난 효율성을 입증하였다.
• 가장 뛰어난 성능을 보인 CMCNN(CM_GA^4)는 가장 짧은 실행 시간과 가장 작은 메모리 프로파일을 보였으며, 이는 높은 에너지 효율성과 엣지 디바이스에 적합함을 시사한다.
• 새로운 GA는 모델 선택 효율성을 크게 향상시켰으며, 벤치마크에서 최상의 성능을 보인 모든 모델은 무작위 탐색이 아닌 보상 유전자 알고리즘을 통해 생성되었다.
• 결과적으로 모델 크기가 적합도 함수에서 지배적인 역할을 할 수 있음을 시사한다. 두 번째로 작은 모델은 항상 가장 높은 F1 점수를 기록하였으며, 이는 크기와 정확도 사이에 강한 트레이드오프 관계가 있음을 나타낸다.