[논문 리뷰] Neural Architecture Search as Multiobjective Optimization Benchmarks: Problem Formulation and Performance Assessment

Zhichao Lu, Ran Cheng외 3명|arXiv (Cornell University)|2022. 08. 08.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 신경망 구조 탐색(NAS)에서 진화적 다목적 최적화(EMO) 알고리즘을 위한 표준화된 벤치마크 테스트 문제를 생성하는 GPU 불필요, 엔드 투 엔드 파이프라인인 EvoXBench를 소개한다. 이는 NAS를 일반적인 다목적 최적화 문제로 재정의하여 다양한 데이터셋, 검색 공간, 하드웨어 플랫폼에서 EMO 알고리즘의 효율적 평가를 가능하게 하며, 최대 8개의 목표를 포함한 6개 알고리즘을 활용한 실험적 검증을 수행한다.

ABSTRACT

The ongoing advancements in network architecture design have led to remarkable achievements in deep learning across various challenging computer vision tasks. Meanwhile, the development of neural architecture search (NAS) has provided promising approaches to automating the design of network architectures for lower prediction error. Recently, the emerging application scenarios of deep learning have raised higher demands for network architectures considering multiple design criteria: number of parameters/floating-point operations, and inference latency, among others. From an optimization point of view, the NAS tasks involving multiple design criteria are intrinsically multiobjective optimization problems; hence, it is reasonable to adopt evolutionary multiobjective optimization (EMO) algorithms for tackling them. Nonetheless, there is still a clear gap confining the related research along this pathway: on the one hand, there is a lack of a general problem formulation of NAS tasks from an optimization point of view; on the other hand, there are challenges in conducting benchmark assessments of EMO algorithms on NAS tasks. To bridge the gap: (i) we formulate NAS tasks into general multi-objective optimization problems and analyze the complex characteristics from an optimization point of view; (ii) we present an end-to-end pipeline, dubbed $ exttt{EvoXBench}$, to generate benchmark test problems for EMO algorithms to run efficiently -- without the requirement of GPUs or Pytorch/Tensorflow; (iii) we instantiate two test suites comprehensively covering two datasets, seven search spaces, and three hardware devices, involving up to eight objectives. Based on the above, we validate the proposed test suites using six representative EMO algorithms and provide some empirical analyses. The code of $ exttt{EvoXBench}$ is available from $\href{https://github.com/EMI-Group/EvoXBench}{ m{here}}$.

연구 동기 및 목표

• 최적화 관점에서 NAS에 대한 일반적인 다목적 최적화 공식화가 부족한 문제를 해결한다.
• 일관되지 않은 검색 공간, 평가 절차, 계산 요구 사항으로 인해 NAS 작업에서 EMO 알고리즘 간 비교가 어려운 문제를 해결한다.
• 딥 러닝 프레임워크와 GPU에 의존하지 않는 확장성 있고 효율적인 벤치마킹 파이프라인을 개발한다.
• 엄격한 EMO 알고리즘 평가를 위한 다수의 데이터셋, 검색 공간, 하드웨어 플랫폼을 포함하는 포괄적인 테스트 세트를 제공한다.
• 예측 오차, 모델 복잡성, 하드웨어 효율성(예: 지연 시간, 에너지 소비) 간의 트레이드오프에서의 EMO 성능에 대한 실증적 분석을 가능하게 한다.

제안 방법

• 예측 오차, 모델 복잡성(파라미터 수, FLOPs), 하드웨어 효율성(지연 시간, 에너지 소비)을 포함한 다목적 최적화 문제(MOP)로 NAS를 일반화한다.
• PyTorch, TensorFlow, GPU 접근이 필요 없이도 벤치마크 인스턴스를 생성할 수 있도록 엔드 투 엔드 파이프라인으로 EvoXBench를 설계한다.
• CIFAR-10, ImageNet 등의 다양한 데이터셋, MobileNet, ResNet, Transformer 등의 검색 공간, GPU, Eyeriss 등의 하드웨어 장치를 지원하는 모듈식 프레임워크를 구현한다.
• 테스트 인스턴스당 최대 8개의 목표를 정의하며, 모델 수준(예: 정확도, FLOPs) 및 하드웨어 수준(예: 추론 지연 시간, 에너지 소비) 지표를 포함한다.
• hypervolume(HV) 및 수렴 분석과 같은 메트릭을 활용해 NSGA-II 등의 EMO 알고리즘을 파이프라인에 통합하여 성능 평가를 수행한다.
• 다양한 목표 조합에서의 파레토 최적 아키텍처를 시각화하여 아키텍처 패턴과 다양한 목표 조건에서의 연산자 선호도를 분석한다.

(a) Standard NAS Pipeline

실험 결과

연구 질문

• RQ1 NAS를 잘 정의된 목표와 제약 조건을 갖춘 일반적인 다목적 최적화 문제로 체계적으로 공식화할 수 있는가?
• RQ2 EMO 알고리즘이 NAS에서 예측 오차, 모델 복잡성, 하드웨어 효율성 간의 트레이드오프를 얼마나 효과적으로 탐색할 수 있는가?
• RQ3 파레토 최적 해의 다양한 목표 트레이드오프 영역에서 아키텍처 선택(예: 컨볼루션 유형, 풀링 연산)은 어떻게 변화하는가?
• RQ4 다양한 검색 공간과 하드웨어 플랫폼에서 파레토 최적 아키텍처의 일관된 설계 패턴은 무엇인가?
• RQ5 GPU 불필요, 프레임워크 독립적인 벤치마킹 파이프라인인 EvoXBench는 NAS에서 EMO 알고리즘의 공정하고 효율적인 평가를 가능하게 하는가?

주요 결과

• $3\times3$ 컨볼루션은 모든 트레이드오프 시나리오에서 일관되게 선호되며, 이는 예측 오차에 긍정적인 영향을 미친다는 것을 시사한다.
• $3\times3$ 평균 풀링 연산은 파레토 최적 아키텍처에서 거의 사용되지 않으며, 이는 예측 성능에 악영향을 미친다는 것을 시사한다.
• $1\times1$ 컨볼루션을 체계적으로 제거함으로써 정확도-복잡성에서 정확도-지연 시간 트레이드오프로의 전환을 달성할 수 있다.
• Eyeriss에서 추론 지연 시간과 에너지 소비는 강하게 상관되어 있어 더 빠른 모델일수록 더 에너지 효율적이라는 것을 보여준다.
• 에너지 효율성과 산술 밀도 간의 트레이드오프가 존재하며, 다목적 최적화 경계에서 비평행이고 교차하는 목표 관계를 통해 이를 확인할 수 있다.
• EvoXBench는 GPU나 딥 러닝 프레임워크에 의존하지 않으면서도 효율적이고 재현 가능하며 공정한 EMO 알고리즘 평가를 가능하게 하여 NAS 벤치마킹에서의 유용성을 입증한다.

(b) Our NAS Benchmark tailored for EMO