[논문 리뷰] A Novel Training Protocol for Performance Predictors of Evolutionary Neural Architecture Search Algorithms

Yanan Sun, Xian Sun외 2명|arXiv (Cornell University)|2020. 08. 30.

Machine Learning and Data Classification참고 문헌 46인용 수 4

한 줄 요약

이 논문은 진화적 신경망 아키텍처 탐색(ENAS)에서 성능 예측기의 훈련 프로토콜을 개선하기 위해 새로운 훈련 프로토콜을 제안한다. 이 프로토콜은 목표로 쌍별 순위 지표를 사용하고, 모델링에 로지스틱 회귀를 적용하며, 데이터 불균형을 방지하기 위해 차이 기반 훈련 인스턴스를 활용한다. 실험 결과, 기존 프로토콜 대비 CIFAR10-CNN에서 평균 16.97% 향상되고, CIFAR100-CNN에서 평균 7.49% 향상되는 것으로 나타났다.

ABSTRACT

Evolutionary Neural Architecture Search (ENAS) can automatically design the architectures of Deep Neural Networks (DNNs) using evolutionary computation algorithms. However, most ENAS algorithms require intensive computational resource, which is not necessarily available to the users interested. Performance predictors are a type of regression models which can assist to accomplish the search, while without exerting much computational resource. Despite various performance predictors have been designed, they employ the same training protocol to build the regression models: 1) sampling a set of DNNs with performance as the training dataset, 2) training the model with the mean square error criterion, and 3) predicting the performance of DNNs newly generated during the ENAS. In this paper, we point out that the three steps constituting the training protocol are not well though-out through intuitive and illustrative examples. Furthermore, we propose a new training protocol to address these issues, consisting of designing a pairwise ranking indicator to construct the training target, proposing to use the logistic regression to fit the training samples, and developing a differential method to building the training instances. To verify the effectiveness of the proposed training protocol, four widely used regression models in the field of machine learning have been chosen to perform the comparisons on two benchmark datasets. The experimental results of all the comparisons demonstrate that the proposed training protocol can significantly improve the performance prediction accuracy against the traditional training protocols.

연구 동기 및 목표

• 진화적 신경망 아키텍처 탐색(ENAS)에서 성능 예측기의 기존 훈련 프로토콜의 비효율성과 정확도 부족 문제를 해결한다.
• 기존 접근법의 결함을 규명한다—즉, 원시 성능 값과 함께 평균 제곱오차를 사용하고 독립적인 샘플을 활용하는 것은 순위 기반 예측 작업에 최적화되어 있지 않다.
• 실제 ENAS 응용 사례에서 상대적 성능 순위가 절대 값 예측보다 더 중요하므로, 이를 반영한 새로운 훈련 프로토콜을 개발한다.
• 재귀적 회귀 작업에서의 데이터 불균형과 모델링 복잡성 문제를 해결함으로써 성능 예측기의 일반화 능력과 강건성을 향상시킨다.

제안 방법

• 절대 값이 아닌 서로 다른 DNN 아키텍처 간의 상대적 성능을 반영하는 쌍별 순위 지표를 훈련 목표로 제안한다.
• 기존 선형 회귀를 대체하여, 한 아키텍처가 다른 아키텍처보다 성능이 뛰어날 확률을 모델링하는 데 로지스틱 회귀를 사용함으로써 순위 정확도를 향상시킨다.
• DNN 아키텍처 쌍 간의 성능 차이를 훈련 인스턴스로 구성함으로써 양성 및 음성 샘플의 자연스러운 균형을 확보하고 데이터 불균형 문제를 줄인다.
• 이 세 가지 요소를 통합하여 성능 예측기의 일반화 능력과 예측 정확도를 향상시키는 통합된 훈련 프로토콜을 제안한다.
• 표준 회귀 모델 네 종류(SVM, GBDT, DTree, RForest)를 두 가지 벤치마크 데이터셋에 적용하여 프로토콜의 유효성을 검증한다.
• 제거 실험을 통해 각 구성 요소의 기여도를 분리하고 평가하며, 특히 첫 번째와 두 번째 구성 요소 간의 상호의존성을 분석한다.

실험 결과

연구 질문

• RQ1 쌍별 순위 지표를 훈련 목표로 사용할 경우, 기존의 평균 제곱오차 기반의 회귀와 비교해 ENAS 예측기의 성능 예측 정확도에 어떤 영향을 미치는가?
• RQ2 선형 회귀를 로지스틱 회귀로 대체할 경우, ENAS에서 성능 예측기의 순위 예측 능력은 어느 정도 향상되는가?
• RQ3 DNN 아키텍처 쌍 간의 성능 차이를 훈련 인스턴스로 구성할 경우, 데이터 불균형 문제를 완화하고 예측기의 일반화 능력을 향상시킬 수 있는가?
• RQ4 제안된 훈련 프로토콜의 어떤 구성 요소가 성능 향상에 가장 기여하며, 이들 요소는 어떻게 상호작용하는가?

주요 결과

• 제안된 훈련 프로토콜은 예측 정확도를 크게 향상시켜, 기존 프로토콜 대비 CIFAR10-CNN 벤치마크에서 평균 16.97% 향상되었다.
• CIFAR100-CNN 벤치마크에서도 기존 프로토콜 대비 평균 7.49% 향상되었으며, 이는 다양한 데이터셋에서의 일관된 성능 향상을 보여준다.
• 첫 번째 및 두 번째 구성 요소(쌍별 순위 지표 및 로지스틱 회귀)를 비활성화할 경우, CIFAR10-CNN에서 16.97% 감소하고, CIFAR100-CNN에서 7.49% 감소하여 이들의 핵심적 역할을 확인한다.
• 세 번째 구성 요소(차이 기반 인스턴스)만 비활성화할 경우, CIFAR10-CNN에서 2.75% 감소하고, CIFAR100-CNN에서 1.17% 감소하여 그 기여도는 낮지만 여전히 유의미한 개선 효과를 보인다.
• 제거 실험 결과, 첫 번째 및 두 번째 구성 요소는 상호의존적이며, 별개로는 효과적으로 기능하지 못함을 확인하여 상호보완적 영향을 강조한다.
• 제안된 프로토콜은 두 벤치마크 데이터셋에서 모든 네 가지 회귀 모델(SVM, GBDT, DTree, RForest)에 대해 기존 프로토콜을 일관되게 능가한다.