[논문 리뷰] Densely Connected Search Space for More Flexible Neural Architecture Search

Jiemin Fang, Yuzhu Sun외 4명|arXiv (Cornell University)|2019. 06. 23.

Advanced Neural Network Applications참고 문헌 59인용 수 13

한 줄 요약

DenseNAS는 블록 수와 너비를 동시에 탐색할 수 있는 밀집 연결된 검색 공간을 제안하며, 라우팅 블록을 통해 슈퍼 네트워크를 구성하고, 체인형 비용 추정 알고리즘을 사용해 정확도와 FLOPs를 최적화합니다. 이는 TITAN-XP에서 단일 GPU로 361M FLOPs와 17.9ms 지연 시간에 75.3%의 Top-1 정확도를 달성합니다.

ABSTRACT

Neural architecture search (NAS) has dramatically advanced the development of neural network design. We revisit the search space design in most previous NAS methods and find the number and widths of blocks are set manually. However, block counts and block widths determine the network scale (depth and width) and make a great influence on both the accuracy and the model cost (FLOPs/latency). In this paper, we propose to search block counts and block widths by designing a densely connected search space, i.e., DenseNAS. The new search space is represented as a dense super network, which is built upon our designed routing blocks. In the super network, routing blocks are densely connected and we search for the best path between them to derive the final architecture. We further propose a chained cost estimation algorithm to approximate the model cost during the search. Both the accuracy and model cost are optimized in DenseNAS. For experiments on the MobileNetV2-based search space, DenseNAS achieves 75.3% top-1 accuracy on ImageNet with only 361MB FLOPs and 17.9ms latency on a single TITAN-XP. The larger model searched by DenseNAS achieves 76.1% accuracy with only 479M FLOPs. DenseNAS further promotes the ImageNet classification accuracies of ResNet-18, -34 and -50-B by 1.5%, 0.5% and 0.3% with 200M, 600M and 680M FLOPs reduction respectively. The related code is available at https://github.com/JaminFong/DenseNAS.

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색(NAS) 검색 공간에서 고정된 블록 수와 너비로 인한 유연성 부족 문제를 해결합니다.
• 각 스테이지에서 블록 수(깊이)와 너비를 자동으로 유연하게 탐색할 수 있도록 합니다.
• 이러한 선택을 검색 공간에 통합함으로써 전문가 의존도를 줄입니다.
• 탐색 과정에서 정확도와 계산 비용(FLOPs/지연 시간)을 동시에 최적화합니다.
• MobileNetV2 및 ResNet과 같은 다양한 백본 아키텍처에 적용 가능한 확장성 있고 효율적인 탐색 프레임워크를 개발합니다.

제안 방법

• 후속 블록과 밀집 연결된 라우팅 블록을 설계하여, 검색 공간을 나타내는 슈퍼 네트워크를 구성합니다.
• 최종 아키텍처를 슈퍼 네트워크를 통과하는 경로로 표현하며, 각 라우팅 블록의 선택 확률을 학습 가능한 확률 매개변수로 제어합니다.
• 전이 확률 기반으로 비용 기여도를 네트워크 전파를 통해 FLOPs를 근사화하는 체인형 비용 추정 알고리즘을 도입합니다.
• 이산적 경로 선택을 연속 확률 분포로 완화함으로써 검색 공간을 미분 가능 NAS 프레임워크에 통합합니다.
• 기울기 하강법을 통해 아키텍처 매개변수(α 및 β)를 최적화하여 검증 정확도를 극대화하는 미분 가능 탐색 과정을 적용합니다.
• 체인형 비용 추정을 활용해 탐색 중 전체 추론을 요구하지 않고도 저FLOP 아키텍처로의 탐색을 유도합니다.

실험 결과

연구 질문

• RQ1 유연한 블록 수와 너비를 허용하는 검색 공간이 고정 구조 검색 공간에 비해 NAS 성능을 향상시킬 수 있는가?
• RQ2 라우팅 블록을 갖는 밀집 연결 슈퍼 네트워크의 설계가 검색된 아키텍처의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 전체 추론 없이도 미분 가능 NAS 중 모델 FLOPs를 효과적으로 근사화할 수 있는가?
• RQ4 제안된 방법이 깊이 및 너비의 수동 하이퍼파rameter 튜닝 필요성을 어느 정도 줄일 수 있는가?
• RQ5 이 방법은 MobileNetV2 및 ResNet과 같은 다양한 백본 아키텍처로 일반화되는가?

주요 결과

• DenseNAS는 단일 TITAN-XP에서 361M FLOPs와 17.9ms 지연 시간에 ImageNet에서 75.3%의 Top-1 정확도를 달성하며, 고정 구조 기반 베이스라인을 능가합니다.
• 더 큰 모델을 탐색한 결과, 479M FLOPs에서 76.1%의 Top-1 정확도를 기록하여 확장성과 성능 향상을 입증합니다.
• DenseNAS는 ResNet-18, -34, -50-B의 정확도를 각각 1.5%, 0.5%, 0.3% 향상시키며, FLOPs는 각각 200M, 600M, 680M 감소시켰습니다.
• 절단 분석 결과, 라우팅 블록의 연결 수가 4일 때가 가장 우수한 성능(75.3% 정확도, 17.9ms 지연 시간)을 기록했습니다.
• 체인형 비용 추정 방법은 실제 FLOPs와 강한 상관관계(r≈0.95)를 보이며, 국소 비용 추정보다 정확도에서 뚜렷한 우월성을 보였습니다.
• 아키텍처 시각화 결과, DenseNAS는 후행 스테이지에서 자연스럽게 더 깊은 네트워크를 학습하는 것으로 확인되었으며, 가장 작은 모델(251M FLOPs)은 더 큰 변형보다 블록 수가 적었습니다.