[논문 리뷰] Multi-Criterion Evolutionary Design of Deep Convolutional Neural Networks.

Zhichao Lu, Ian Whalen외 5명|arXiv (Cornell University)|2019. 12. 03.

Advanced Neural Network Applications참고 문헌 47인용 수 18

한 줄 요약

이 논문은 제한된 계산 예산 하에서 분류 정확도와 FLOPs를 동시에 최적화하는 다기준 유전 알고리즘을 제안한다. 페어레토 최적 아키텍처 검색과 베이지안 학습을 조합하여 성공한 패턴을 재사용하고 아키텍처를 축소함으로써, CIFAR, ImageNet 및 흉부 X-ray 데이터셋에서 수동 설계 및 자동 설계를 모두 능가하는 효율적이고 고성능의 모델을 생성한다.

ABSTRACT

Convolutional neural networks (CNNs) are the backbones of deep learning paradigms for numerous vision tasks. Early advancements in CNN architectures are primarily driven by human expertise and elaborate design. Recently, neural architecture search was proposed with the aim of automating the network design process and generating task-dependent architectures. While existing approaches have achieved competitive performance in image classification, they are not well suited under limited computational budget for two reasons: (1) the obtained architectures are either solely optimized for classification performance or only for one targeted resource requirement; (2) the search process requires vast computational resources in most approaches. To overcome this limitation, we propose an evolutionary algorithm for searching neural architectures under multiple objectives, such as classification performance and FLOPs. The proposed method addresses the first shortcoming by populating a set of architectures to approximate the entire Pareto frontier through genetic operations that recombine and modify architectural components progressively. Our approach improves the computation efficiency by carefully down-scaling the architectures during the search as well as reinforcing the patterns commonly shared among the past successful architectures through Bayesian Learning. The integration of these two main contributions allows an efficient design of architectures that are competitive and in many cases outperform both manually and automatically designed architectures on benchmark image classification datasets, CIFAR, ImageNet and human chest X-ray. The flexibility provided from simultaneously obtaining multiple architecture choices for different compute requirements further differentiates our approach from other methods in the literature.

연구 동기 및 목표

• 정확도 또는 단일 자원 제약 조건에 대해서만 최적화하는 기존 신경망 아키텍처 검색 방법의 한계를 해결하기 위해, 동시에 두 가지를 고려하는 방법을 제안한다.
• 아키텍처 검색의 높은 계산 비용을 줄이기 위해 검색 과정 중 아키텍처를 축소한다.
• 이전에 성공한 아키텍처에서 관찰된 패턴을 베이지안 학습을 통해 활용함으로써 검색 효율성을 향상시킨다.
• 다양한 계산 예산 요구 조건을 충족시킬 수 있는 페어레토 최적 아키텍처의 다양성을 확보한다.
• 수동 설계 및 기존 자동 설계 모델에 비해 경쟁력 있거나 슈퍼어리어한 CNN의 자동 설계를 가능하게 한다.

제안 방법

• 유전적 연산(교배 및 변이 포함)을 아키텍처 구성 요소에 적용하여 후보 아키텍처를 탐색하고 진화시키는 유전 알고리즘을 사용한다.
• 분류 정확도와 FLOPs 사이의 전체 페어레토 경계를 근사하는 아키텍처 집단을 유지함으로써 다기준 최적화를 가능하게 한다.
• 계산 비용을 제한하기 위해 진화 과정 중 후보 네트워크의 깊이와 너비를 줄여 검색 공간을 축소한다.
• 이전에 성공한 아키텍처에서 관찰된 공통적인 아키텍처 패턴을 식별하고 강화하기 위해 베이지안 학습을 적용하여 수렴 속도를 가속화한다.
• 정확도와 FLOPs를 균형 있게 고려하는 다기준 적합도 함수를 사용하여 세대 간 아키텍처 선택을 이끈다.
• 진화적이고 다각적인 아키텍처 탐색을 위해 점진적인 아키텍처 수정 및 재조합 기법을 통합한다.

실험 결과

연구 질문

• RQ1 제한된 계산 예산 하에서 높은 분류 정확도와 낮은 FLOPs를 동시에 확보하는 CNN 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 검색 과정 중 아키텍처 공간을 축소하는 것이 결과 모델의 효율성과 품질에 어떤 영향을 미치는가?
• RQ3 공유되는 아키텍처 패턴에 대한 베이지안 학습이 검색 효율성과 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 다양한 계산 제약 조건에 적합한 페어레토 최적 아키텍처의 다양성을 생성할 수 있는가?
• RQ5 생성된 아키텍처의 성능은 수동 설계 및 기존 자동 검색 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 정확도와 FLOPs 간의 트레이드오프를 제공하는 페어레토 최적 아키텍처 집합을 생성하여 특정 계산 예산에 맞는 선택을 가능하게 한다.
• 아키텍처 축소와 베이지안 학습을 통한 패턴 재사용 덕분에 기존 NAS 방법보다 검색 과정이 훨씬 계산 비용이 효율적이다.
• CIFAR-10, CIFAR-100, ImageNet 및 인간 흉부 X-ray 분류 벤치마크에서 수동 설계 및 기존 자동 검색 아키텍처를 모두 능가하는 모델을 생성한다.
• 다기준 최적화를 통한 진화적 검색은 단일 성능 또는 자원 프로파일에 국한되지 않는 고성능 아키텍처를 발견할 수 있도록 한다.
• 성공한 아키텍처 패턴에 대한 베이지안 학습은 포괄적인 검색이 필요 없이도 고품질 솔루션으로의 수렴을 가속화한다.
• 이 방법은 이미지 분류 및 의료 영상 분석을 포함한 다양한 비전 작업에 대해 뛰어난 일반화 성능를 보여준다.