[논문 리뷰] BLOX: Macro Neural Architecture Search Benchmark and Algorithms

Thomas Chau, Łukasz Dudziak외 3명|arXiv (Cornell University)|2022. 10. 13.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 CIFAR-100에서 훈련된 91,125개의 고유한 CNN 모델로 구성된 대규모 블록 기반 신경망 아키텍처 탐색(NAS) 벤치마크인 Blox를 소개한다. 다양한 하드웨어에서의 지연 시간 측정을 포함하며, 블록 단위 NAS 알고리즘을 평가하여 서명 기반 블록 표현과 정확도 예측이 매크로 탐색 공간에서 탐색 효율성과 성능을 크게 향상시킴을 입증한다. 이는 스케일이 가능하고 고정확도를 갖춘 NAS의 기초를 제공한다.

ABSTRACT

Neural architecture search (NAS) has been successfully used to design numerous high-performance neural networks. However, NAS is typically compute-intensive, so most existing approaches restrict the search to decide the operations and topological structure of a single block only, then the same block is stacked repeatedly to form an end-to-end model. Although such an approach reduces the size of search space, recent studies show that a macro search space, which allows blocks in a model to be different, can lead to better performance. To provide a systematic study of the performance of NAS algorithms on a macro search space, we release Blox - a benchmark that consists of 91k unique models trained on the CIFAR-100 dataset. The dataset also includes runtime measurements of all the models on a diverse set of hardware platforms. We perform extensive experiments to compare existing algorithms that are well studied on cell-based search spaces, with the emerging blockwise approaches that aim to make NAS scalable to much larger macro search spaces. The benchmark and code are available at https://github.com/SamsungLabs/blox.

연구 동기 및 목표

• 매크로 NAS에 대한 표준화된 벤치마크가 부족한 문제를 해결하여, 단계별로 다양한 블록 아키텍처를 허용한다.
• 전통적인 셀 기반 탐색을 넘어서 대규모 매크로 탐색 공간에서 NAS 알고리즘의 체계적 평가를 가능하게 한다.
• 블록 서명, 정확도 예측기, 훈련 전략 등의 측면에서 최근 등장한 블록 단위 NAS 알고리즘의 효과성을 분석한다.
• 연구를 가속화하기 위해 공개된 벤치마크와 코드베이스를 제공한다.
• 블록 수준의 다양성을 통해 높은 정확도와 낮은 지연 시간을 동시에 달성하는 확장 가능한 NAS 방법의 설계를 안내한다.

제안 방법

• Blox 벤치마크는 세 단계로 구성된 매크로 탐색 공간을 정의하며, 각 단계는 45개의 고유한 아키텍처에서 구성된 탐색 가능한 블록을 포함하여 총 45³ = 91,125개의 고유한 모델을 생성한다.
• 모든 모델는 표준화된 훈련 프로토콜을 사용해 CIFAR-100에서 훈련되며, CPU, GPU, TPU 등 다양한 하드웨어 플랫폼에서 추론 지연 시간이 측정된다.
• 블록 단위 NAS 알고리즘은 아키텍처 특성을 표현하기 위해 학습된 블록 서명과 전체 훈련 없이 성능을 추정하기 위한 정확도 예측기를 사용하여 평가된다.
• 이 프레임워크는 다양한 NAS 철학, 예를 들어 미분 가능 NAS, 강화 학습, 진화 전략을 지원하여 알고리즘 간 비교가 가능하다.
• 벤치마크에는 모델 가중치와 지연 시간 데이터가 포함되어 있으며, 코드와 데이터셋은 CC BY-NC 라이선스 하에 GitHub에 호스팅되어 있다.
• 연구는 분할 정복 전략을 활용하여 각 단계를 독립적으로 지역 히우리스틱을 사용해 탐색한 후 최종 모델 조립을 수행한다.

실험 결과

연구 질문

• RQ1 전통적인 셀 기반 NAS와 비교해 블록 단위 NAS 알고리즘이 대규모 매크로 탐색 공간에서 어떻게 성능을 내는가?
• RQ2 블록 서명이 매크로 탐색 공간에서 NAS의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 정확도 예측기는 높은 모델 성능을 유지하면서도 탐색 비용을 얼마나 줄일 수 있는가?
• RQ4 하드웨어 기반 지연 시간 측정은 NAS에서 최적의 아키텍처 선택에 어떤 영향을 미치는가?
• RQ5 매크로 환경에서 높은 성능을 내는 블록 단위 NAS 알고리즘의 핵심 구성 요소는 무엇인가?

주요 결과

• Blox 벤치마크는 CIFAR-100에서 훈련된 91,125개의 고유한 모델을 포함하며, 다양한 하드웨어 플랫폼에서의 지연 시간 측정을 통해 하드웨어 인식 NAS 평가가 가능하다.
• 학습된 블록 서명과 정확도 예측기를 사용하는 블록 단위 NAS 알고리즘은 탐색 시간을 크게 단축시키면서도 경쟁 가능한 정확도를 유지한다.
• Blox에서 상위 성능을 낸 모델들은 CIFAR-100에서 테스트 정확도 85% 이상을 달성하여 매크로 탐색이 고성능 아키텍처의 잠재력을 지닌다는 것을 입증한다.
• 벤치마크는 단일 블록 스타킹보다 단계 간 블록 다양성이 더 나은 정확도-지연 시간 트레이드오프를 이끌어낸다는 것을 드러냈다.
• 학습된 블록 서브셋에서 정확도 예측기를 훈련한 결과, 예측기가 새로운 아키텍처로도 잘 일반화되어 탐색 중 전체 훈련이 필요한 경우를 줄일 수 있었다.
• 데이터셋과 코드베이스는 GitHub에서 공개되어 있으며, 버전 관리 및 기여 메커니즘을 통해 지속적인 연구 확장 지원이 가능하다.