[논문 리뷰] An Aggressive Genetic Programming Approach for Searching Neural Network Structure Under Computational Constraints

Zhe Li, Xuehan Xiong외 4명|arXiv (Cornell University)|2018. 06. 03.

Evolutionary Algorithms and Applications참고 문헌 25인용 수 3

한 줄 요약

이 논문은 엄격한 계산 제약 조건 하에서 최적의 합성곱 신경망(CNN) 아키텍처를 효율적으로 탐색하는 데 중점을 두고 AG-Evolution를 제안한다. 약한 개체를 적극적으로 제거하고 돌연변이 빈도를 높여 다양성을 유지함으로써, MNIST, SVHN, CIFAR-10, CIFAR-100에서 최신 기준 성능을 달성하면서도 GPU 시간을 크게 줄였다. 이는 인간이 설계한 인도적 편향이나 막대한 계산 자원 없이도 고성능 모델을 발견할 수 있음을 보여준다.

ABSTRACT

Recently, there emerged revived interests of designing automatic programs (e.g., using genetic/evolutionary algorithms) to optimize the structure of Convolutional Neural Networks (CNNs) for a specific task. The challenge in designing such programs lies in how to balance between large search space of the network structures and high computational costs. Existing works either impose strong restrictions on the search space or use enormous computing resources. In this paper, we study how to design a genetic programming approach for optimizing the structure of a CNN for a given task under limited computational resources yet without imposing strong restrictions on the search space. To reduce the computational costs, we propose two general strategies that are observed to be helpful: (i) aggressively selecting strongest individuals for survival and reproduction, and killing weaker individuals at a very early age; (ii) increasing mutation frequency to encourage diversity and faster evolution. The combined strategy with additional optimization techniques allows us to explore a large search space but with affordable computational costs. Our results on standard benchmark datasets (MNIST, SVHN, CIFAR-10, CIFAR-100) are competitive to similar approaches with significantly reduced computational costs.

연구 동기 및 목표

• 검색 공간에 강력한 구조적 제약 조건을 부과하지 않고도 고성능 CNN 아키텍처를 탐색할 수 있는 유전적 프로그래밍 접근법을 개발하는 것.
• 특히 하드웨어 자원이 제한된 사용자를 고려할 때 신경망 아키텍처 탐색(NAS)에서 검색 공간 크기와 계산 비용 간의 상충 관계를 해결하는 것.
• 실제 계산 예산 내에서 효율적이고 효과적인 인간 간섭 없는 자동 신경망 아키텍처 탐색을 가능하게 하는 것.
• 공격적인 선택과 향상된 돌연변이가 제한된 계산 자원 하에서 다양성을 유지하면서도 훈련 시간을 극적으로 단축시킬 수 있는지 조사하는 것.
• 표준 벤치마크(MNIST, SVHN, CIFAR-10, CIFAR-100)에서 제안된 방법의 성능을 이전 최신 기준 방법들과 정확도 및 효율성 측면에서 비교 검증하는 것.

제안 방법

• 생존에 필요한 개체만 유지하고 약한 개체를 조기에 폐기함으로써 낭비되는 계산을 줄이기 위해 공격적인 선택 전략을 적용한다.
• 최상의 개체의 클론에 대해 여러 가지 다른 돌연변이를 적용하여 다양성을 높이고, 인구 집단의 다양성이 감소하는 것을 보완한다.
• 기본 연산(예: 합성곱, 풀링, 스킵 연결 등)의 집합을 사용해 다소 유연한 검색 공간을 정의함으로써 복잡한 다중 경로 아키텍처를 허용한다.
• 고정된 세대 수를 사용하고, 성능이 열악한 개체에 대해서는 조기 정지 기법을 적용하여 진화 과정을 가속화한다.
• 훈련 시간을 단축시키기 위해 조기 정지 및 모델 압축과 같은 추가 최적화 기법을 적용한다.
• 인간 간섭 없이 네트워크를 종합적으로 진화시킴—수동적인 튜닝, 레이어 추가, 또는 구조적 수정 없이.

실험 결과

연구 질문

• RQ1 유전적 프로그래밍에서 공격적인 선택 전략이 신경망 아키텍처 탐색에서 검색 품질을 저하시키지 않고 계산 비용을 줄일 수 있는가?
• RQ2 제한된 계산 자원 하에서 인구 집단의 다양성이 감소할 경우 돌연변이 빈도를 높이는 것이 이를 상쇄할 수 있는가?
• RQ3 완전히 자동화되고 인간 간섭이 없는 유전 알고리즘이 최소한의 GPU 사용량으로 표준 벤치마크에서 경쟁 가능한 CNN 아키텍처를 탐색할 수 있는가?
• RQ4 제안된 방법의 성능은 정확도 및 계산 효율성 측면에서 이전 최신 기준 NAS 방법들과 비교해 어떻게 되는가?
• RQ5 인간의 편향 없이 진화 과정에서 어떤 아키텍처 패턴(예: 스킵 연결, 다중 경로 설계 등)이 도출되는가?

주요 결과

• AG-Evolution는 MNIST에서 35 GPU 시간에 0.9969의 테스트 정확도를 달성하여, Genetic-CNN가 사용한 48 GPU 시간보다 훨씬 적은 자원으로 최신 기준 성능을 달성했다.
• CIFAR-10에서 AG-Evolution는 72 GPU 시간에 90.52%의 테스트 정확도를 기록했으며, Genetic-CNN(408 GPU 시간에 77.06% 정확도)를 능가했고, LS-Evolution의 91.80% 정확도에 근접하면서도 비용을 극적으로 낮췄다.
• SVHN에서 AG-Evolution는 60 GPU 시간에 95.41%의 정확도를 달성했으며, NA-Evolution(552 GPU 시간에 96.20% 정확도)를 능가했고 계산 비용을 크게 감소시켰다.
• CIFAR-100에서 AG-Evolution는 184 GPU 시간에 68.04%의 정확도를 기록했으며, NA-Evolution(552 GPU 시간에 65.60% 정확도)를 능가했고 다양한 데이터셋에 대한 확장성도 입증했다.
• CIFAR-10과 CIFAR-100에서 탐색된 아키텍처는 스킵 연결을 포함한 다중 경로 구조를 띠며, Inception 및 ResNet 설계와 유사한 패턴을 보였다—진화 과정이 효과적인 아키텍처 패턴을 재발견할 수 있음을 시사한다.
• 모든 데이터셋에서 세대가 진행됨에 따라 일관된 성능 향상이 관찰되었으며, 테스트 정확도가 점진적으로 상승함으로써 공격적인 선택 및 돌연변이 전략의 효과성을 확인했다.