[논문 리뷰] Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars

Simon Schrodi, Danny Stoll외 4명|arXiv (Cornell University)|2022. 11. 03.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 문맥 자유 문법(CFGs)을 사용하여 계층적 신경망 아키텍처 탐색(NAS) 공간을 통합적으로 구성하는 프레임워크를 제안한다. 이는 기존 작업보다 수십만 배 이상 큰 규모이면서도 압축성, 표현력, 규칙성을 확보한 검색 공간을 가능하게 한다. 또한 계층적 커널을 갖춘 베이지안 최적화 방법인 BOHNAS를 도입하여 이 거대한 공간을 효율적으로 탐색하고, ImageNet-16-120에서 4.99%의 정확도 향상을 달성하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The discovery of neural architectures from simple building blocks is a long-standing goal of Neural Architecture Search (NAS). Hierarchical search spaces are a promising step towards this goal but lack a unifying search space design framework and typically only search over some limited aspect of architectures. In this work, we introduce a unifying search space design framework based on context-free grammars that can naturally and compactly generate expressive hierarchical search spaces that are 100s of orders of magnitude larger than common spaces from the literature. By enhancing and using their properties, we effectively enable search over the complete architecture and can foster regularity. Further, we propose an efficient hierarchical kernel design for a Bayesian Optimization search strategy to efficiently search over such huge spaces. We demonstrate the versatility of our search space design framework and show that our search strategy can be superior to existing NAS approaches. Code is available at https://github.com/automl/hierarchical_nas_construction.

연구 동기 및 목표

• 모든 추상화 수준에서 전체 아키텍처 탐색을 지원하는 계층적 신경망 아키텍처 탐색 공간을 설계하기 위한 통합 프레임워크가 부족한 문제를 해결하기 위해.
• 기존 것들보다 수십만 배 이상 큰 규모이면서도 표현력 있고 규칙적이며 제약 조건을 충족하는 검색 공간을 구축할 수 있도록 하기 위해.
• 지수적으로 큰 계층적 검색 공간을 효과적으로 탐색할 수 있는 효율적인 베이지안 최적화 전략을 개발하기 위해.
• 컨volutional 네트워크, 트랜스포머, 다양한 아키텍처 설계 선택지에 걸쳐 이 프레임워크의 유연성을 실증적으로 검증하기 위해.
• 최선의 관행을 준수하고 코드 및 하이퍼파라미터를 공개하여 재현 가능한 NAS 연구를 촉진하기 위해.

제안 방법

• 논문은 신경망 아키텍처를 문맥 자유 문법(CFGs)에 의해 생성되는 함수 조합으로 모델링하여, 기본 구성 요소에서부터 재귀적이고 계층적인 방식으로 아키텍처를 구성할 수 있도록 한다.
• CFGs를 개선하여 치환에 대한 닫힘 성질을 통해 규칙성을 강제하고, 사용자가 정의한 아키텍처 제약 조건을 통합할 수 있는 메커니즘을 도입한다.
• 베이지안 최적화를 위한 새로운 계층적 커널을 설계하여, 다양한 수준의 아키텍처 구성 요소를 통합함으로써 다수의 수준 간 복잡한 종속성을 모델링한다.
• 선형 또는 셀 기반 아키텍처에 국한되지 않고, 스킵 연결이나 분기와 같은 비선형 매크로 토폴로지에 대해서도 검색을 지원한다.
• NAS-Bench-201 및 그 유사체에 통합하여 매크로 아키텍처나 블록 반복과 같은 아키텍처 측면을 제어적으로 평가할 수 있도록 한다.
• 일致한 훈련 프rotocol, 하이퍼파라미터, 난수 시드를 사용하여 공정한 벤치마킹을 보장하기 위해 광범위한 아블레이션 및 비교 실험을 수행한다.

실험 결과

연구 질문

• RQ1 CFG 기반 프레임워크는 규칙성과 복잡한 토폴로지를 유지하면서도 계층적 신경망 아키텍처 탐색 공간의 통합 및 확장이 가능한가?
• RQ2 제안된 BOHNAS 방법은 대규모이고 계층적인 검색 공간에서 기존 NAS 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ3 이 프레임워크는 표준 셀 기반 또는 선형 설계를 초월해 새로운 아키텍처 패턴을 발견할 수 있는가?
• RQ4 매크로 아키텍처나 블록 반복과 같은 아키텍처 설계 선택지가 다양한 데이터셋과 모델 유형에서 모델 성능에 미치는 영향은 어느 정도인가?
• RQ5 동일한 검색 프rotocol 하에서 컨volutional 네트워크와 트랜스포머를 포함한 다양한 아키텍처에 이 프레임워크를 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 CFG 기반의 검색 공간 구성 방법은 이전 NAS 작업의 것보다 100배 이상 큰 규모의 검색 공간을 생성할 수 있으며, 표현력과 규칙성을 유지한다.
• BOHNAS는 8개 데이터셋 중 6개에서 최신 기술 수준의 성능을 달성했으며, NAS-Bench-201 훈련 프로토콜을 사용해 ImageNet-16-120에서 4.99%의 정확도 향상을 기록했다.
• 이 방법은 표준 검색 공간 제약 조건을 초월해 새로운 아키텍처를 발견할 수 있었으며, 감성 분석을 위한 발견된 트랜스포머 기반 분류 헤드를 통해 그 가능성을 입증했다.
• 컨volutional 네트워크와 트랜스포머를 포함한 다양한 아키텍처에 대해 일관된 성능 향상을 보이며 효과적인 검색을 지원한다.
• 아블레이션 연구를 통해 BOHNAS의 계층적 커널이 표준 커널(WL, GCN 등)보다 뛰어난 성능을 보이며, 여러 검색 런과 시드에서 일관된 성능 향상을 확인했다.
• 논문은 NAS 최선의 관행 체크리스트를 준수하였으며, 전체 코드, 하이퍼파라미터, 난수 시드를 공개하여 재현 가능성과 공정한 비교를 보장한다.