[논문 리뷰] Multi-Objective Evolutionary Design of Deep Convolutional Neural Networks for Image Classification

Zhichao Lu, Ian Whalen외 5명|arXiv (Cornell University)|2019. 12. 03.

Machine Learning and Data Classification참고 문헌 85인용 수 16

한 줄 요약

이 논문은 이미지 분류를 위한 깊이 합성곱 신경망(CNN) 아키텍처를 정확도와 계산 효율성(FLOPs) 측면에서 동시에 최적화하는 다목적 유전 알고리즘인 NSGANetV1을 제안한다. 맞춤형 유전 연산과 베이지안 네트워크 기반 분포 추정을 결합하여 검색 속도를 향상시킴으로써, 파레토 경계를 효율적으로 탐색하고, 경량이며 높은 성능을 가지는 모델을 생성한다. 이는 CIFAR, ImageNet, ChestX-Ray14 데이터셋에서 수동으로 설계된 모델과 기존의 NAS 방법을 모두 능가한다.

ABSTRACT

Early advancements in convolutional neural networks (CNNs) architectures are primarily driven by human expertise and by elaborate design processes. Recently, neural architecture search was proposed with the aim of automating the network design process and generating task-dependent architectures. While existing approaches have achieved competitive performance in image classification, they are not well suited to problems where the computational budget is limited for two reasons: (1) the obtained architectures are either solely optimized for classification performance, or only for one deployment scenario; (2) the search process requires vast computational resources in most approaches. To overcome these limitations, we propose an evolutionary algorithm for searching neural architectures under multiple objectives, such as classification performance and floating-point operations (FLOPs). The proposed method addresses the first shortcoming by populating a set of architectures to approximate the entire Pareto frontier through genetic operations that recombine and modify architectural components progressively. Our approach improves computational efficiency by carefully down-scaling the architectures during the search as well as reinforcing the patterns commonly shared among past successful architectures through Bayesian model learning. The integration of these two main contributions allows an efficient design of architectures that are competitive and in most cases outperform both manually and automatically designed architectures on benchmark image classification datasets: CIFAR, ImageNet, and human chest X-ray. The flexibility provided from simultaneously obtaining multiple architecture choices for different compute requirements further differentiates our approach from other methods in the literature. Code is available at https://github.com/mikelzc1990/nsganetv1

연구 동기 및 목표

• 정확도만 최적화하거나 과도한 계산 자원을 요구하는 기존 신경망 아키텍처 탐색(NAS) 방법의 한계를 해결하기 위해.
• 자원 제약 환경에서 구현 가능한 높은 분류 성능와 낮은 FLOPs를 동시에 확보하는 CNN 아키텍처를 위한 효율적이고 다목적의 탐색을 가능하게 하기 위해.
• 다양한 계산 예산에 맞는 다각도의 파레토 최적 아키텍처를 동시에 발견할 수 있는 확장 가능한 유전적 접근법을 개발하기 위해.
• 검색 중에 아키텍처를 축소하고 이전에 성공한 아키텍처에서 공통적인 패턴을 추출하여 베이지안 네트워크 모델링을 통해 성능을 향상시키기 위해.
• CIFAR, ImageNet, ChestX-Ray14를 포함한 벤치마크 데이터셋에서 방법의 일반화 능력과 전이 학습 능력을 검증하기 위해.

제안 방법

• NSGANetV1은 유전 연산인 재조합 및 아키텍처 구성 요소의 변형을 사용하여 CNN 아키텍처의 집단을 진화시키는 다목적 유전 알고리즘을 적용한다.
• 알고리즘은 정확도와 부동소수점 연산(FLOPs)을 동시에 최적화하여 파레토 경계에 걸쳐 다양한 아키텍처를 유지한다.
• 검색 효율성을 향상시키기 위해 검색 단계에서 네트워크의 깊이와 너비를 축소하여 계산 비용을 줄이면서도 성능 경향을 유지한다.
• 이전에 성공한 아키텍처에서 관찰된 공통적인 아키텍처 패턴을 모델링하고 강화하기 위해 베이지안 네트워크 기반의 분포 추정 연산자를 사용한다.
• 각 아키텍처의 정확도와 FLOPs를 평가하는 피트니스 함수를 통해 최적의 트레이드오프를 갖는 모델을 발견할 수 있도록 검색 과정을 이끌어낸다.
• 검색 후, 최고 성능을 보인 아키텍처들은 대상 데이터셋에서 다시 처음부터 훈련시켜 기존 방법들과의 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 다목적 유전 알고리즘이 CNN 아키텍처 탐색에서 정확도와 FLOPs 간의 상호 보완적 관계를 효과적으로 탐색할 수 있는가?
• RQ2 베이지안 네트워크 기반 패턴 모델링이 성능을 훼손시키지 않고 NAS에서 검색 효율성을 어떻게 향상시키는가?
• RQ3 제안된 방법이 다양한 이미지 분류 벤치마크에서 수동 설계된 모델과 기존 자동화된 NAS 방법을 모두 능가하는 아키텍처를 생성할 수 있는가?
• RQ4 한 데이터셋(예: CIFAR-100)에서 진화시킨 아키텍처가 전이 학습을 통해 다른 작업(예: 흉부 X-ray 분류)으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ5 다양한 질병 분류 작업에서 파arameter 효율성과 강건성 측면에서 생성된 아키텍처는 어떻게 비교되는가?

주요 결과

• NSGANetV1-X는 ChestX-Ray14 데이터셋에서 테스트 AUROC 84.6%를 기록하여 Google AutoML를 약 4% 뛰어넘었고, 파arameter 수가 3.2배 적은 상태에서 최신 기술인 CheXNet과 유사한 성능을 달성했다.
• NSGANetV1-A3는 CIFAR-100에서 진화된 것으로, 최소한의 미세조정으로 ChestX-Ray14 데이터셋에서 경쟁 가능한 성능을 보여 전이 학습 능력이 뛰어났다.
• CIFAR-10에서 NSGANetV1은 오직 110만 개의 파라미터로도 상위 1위 정확도 97.3%를 달성하여 많은 기존 NAS 및 수동 설계 모델을 능가했다.
• ImageNet에서는 180만 FLOPs로 상위 1위 정확도 78.4%를 기록하여 저자원 환경에서도 뛰어난 성능을 보였다.
• NSGANetV1-X의 클래스 활성화 맵은 국소화되고 질병 특이적인 주의를 보여, 모델의 해석 가능성과 작업의 관련성을 확인했다.
• 베이지안 네트워크 기반의 분포 추정이 검색 효율을 크게 향상시켜, 낮은 계산 비용으로 고품질 아키텍처를 발견하는 데 기여했다.