[논문 리뷰] Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search

Haoyu Zhang, Yaochu Jin외 2명|arXiv (Cornell University)|2020. 03. 07.

Metaheuristic Optimization Algorithms Research참고 문헌 60인용 수 10

한 줄 요약

이 논문은 부모 개체에 대해 샘플링된 훈련과 자식 개체에 대해 노드 유산을 사용하는 빠른 진화적 신경망 아키텍처 탐색(ENAS) 프레임워크를 제안한다. 이는 훈련 비용을 크게 줄이며 높은 성능을 유지한다. 부모 개체를 미니배치로 훈련하고 자식 개체는 재훈련 없이 노드를 유산함으로써, CIFAR-10에서 95.93%의 정확도와 CIFAR-100에서 81.36%의 정확도를 달성했으며, 이는 이전의 ENAS 방법보다 훨씬 낮은 계산 자원을 요구한다.

ABSTRACT

The performance of a deep neural network is heavily dependent on its architecture and various neural architecture search strategies have been developed for automated network architecture design. Recently, evolutionary neural architecture search (ENAS) has received increasing attention due to the attractive global optimization capability of evolutionary algorithms. However, ENAS suffers from extremely high computation costs because a large number of performance evaluations is usually required in evolutionary optimization and training deep neural networks is itself computationally very intensive. To address this issue, this paper proposes a new evolutionary framework for fast ENAS based on directed acyclic graph, in which parents are randomly sampled and trained on each mini-batch of training data. In addition, a node inheritance strategy is adopted to generate offspring individuals and their fitness is directly evaluated without training. To enhance the feature processing capability of the evolved neural networks, we also encode a channel attention mechanism in the search space. We evaluate the proposed algorithm on the widely used datasets, in comparison with 26 state-of-the-art peer algorithms. Our experimental results show the proposed algorithm is not only computationally much more efficiently, but also highly competitive in learning performance.

연구 동기 및 목표

• 진화적 신경망 아키텍처 탐색(ENAS)의 높은 계산 비용 문제를 해결하기 위해, 적절한 성능 평가를 위한 깊은 네트워크의 광범위한 훈련이 요구되는 문제를 다룬다.
• 성능 평가에 소요되는 시간과 자원을 줄이되, 탐색 성능을 훼손하지 않도록 한다.
• 자식 개체의 재훈련을 피하고 가중치를 재사용함으로써 진화적 탐색의 효율성을 향상시킨다.
• 탐색 공간에 채널 주의 메커니즘을 통합하여, 도출된 아키텍처의 특징 표현을 향상시킨다.
• CIFAR-10, CIFAR-100, SVHN 등의 데이터셋 간에 도출된 아키텍처의 이식 가능성을 평가한다.

제안 방법

• 부모 개체는 무작위로 샘플링되어 데이터의 미니배치에서 훈련되며, 전체 배치 훈련에 비해 평가 비용을 감소시킨다.
• 자식 개체는 노드 유산을 통해 생성되며, 재훈련 없이도 부모로부터 구조적 구성 요소를 유산받는다.
• 자식 개체의 성능 평가는 유산된 가중치를 직접 사용하여 수행되며, 전체 훈련이 필요로 하지 않는다.
• 방향성 비순환 그래프(DAG) 표현을 사용하여, 다중 스케일 컨볼루션과 채널 주의를 포함한 구성 가능한 연산을 포함하는 탐색 공간을 모델링한다.
• 탐색 공간에 채널 주의 메커니즘을 통합하여 특징 표현과 모델 표현력을 향상시킨다.
• 서rogate 없는 접근 방식을 채택하여, 다른 ENAS 방법에서 흔히 요구되는 고비용 서rogate 모델 훈련이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 부모 개체에 대한 샘플링 훈련이 성능 저하 없이 ENAS의 성능 평가에 대한 계산 비용을 크게 줄일 수 있는가?
• RQ2 노드 유산을 통해 자식 개체에 대한 정확한 성능 추정이 전체 재훈련 없이 가능하여 진화 과정이 가속화되는가?
• RQ3 탐색 공간에 채널 주의 메커니즘을 통합함으로써 도출된 신경망 아키텍처의 성능 향상이 가능한가?
• RQ4 CIFAR-10과 같은 소규모 데이터셋에서 최적화된 신경망 아키텍처가 CIFAR-100 및 SVHN과 같은 더 큰 데이터셋으로 효과적으로 이식 가능한가?
• RQ5 제안된 SI-ENAS 프레임워크는 표준 벤치마크에서 최신 기술의 ENAS 방법과 비교해 효율성과 정확도 면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 SI-ENAS 프레임워크는 CIFAR-10에서 95.93%의 테스트 정확도와 CIFAR-100에서 81.36%의 정확도를 달성했으며, 파rameter sharing를 사용하는 베이스라인 SI-ENAS(94.82% 및 79.59%)를 초월했다.
• 노드 유산 덕분에 계산 비용이 크게 감소했으며, 자식 개체는 전체 훈련 없이 평가되었고, 반면 parameter sharing는 더 높은 성능 평가 오차를 유발했다.
• AE-CNN 대비 CIFAR-10과 CIFAR-100에서 각각 214%와 230%의 GPU 일 수 감소를 기록하여 경쟁 가능한 성능을 달성했다.
• CIFAR-10에서 도출된 최고의 개체는 SVHN에서 98.31%의 정확도와 CIFAR-100에서 80.13%의 정확도를 기록하여 강력한 이식 가능성을 입증했다.
• 이 프레임워크는 뛰어난 확장성과 효율성을 보였으며, 제한된 계산 자원을 가진 장치에의 구현에 적합하다.