[논문 리뷰] Practical Block-wise Neural Network Architecture Generation

Zhao Zhong, Junjie Yan외 3명|arXiv (Cornell University)|2017. 08. 18.

Advanced Neural Network Applications참고 문헌 43인용 수 20

한 줄 요약

이 논문은 Q-학습 기반의 프레임워크인 BlockQNN을 제안하며, CIFAR-10에서 3.54%의 top-1 오차율을 기록하여 최신 기술 수준의 성능을 달성하는 블록 단위의 신경망 아키텍처 자동 생성을 목표로 한다. 에이전트가 순차적으로 최적의 블록 구성 요소를 선택하고, 조기 정지 및 분산 학습을 활용함으로써 검색 공간과 계산 비용을 줄였다. 이로 인해 32개의 GPU를 사용해 단 3일 만에 수렴을 이룰 수 있었으며, ImageNet으로의 전이 가능성 또한 뛰어나다.

ABSTRACT

Convolutional neural networks have gained a remarkable success in computer vision. However, most usable network architectures are hand-crafted and usually require expertise and elaborate design. In this paper, we provide a block-wise network generation pipeline called BlockQNN which automatically builds high-performance networks using the Q-Learning paradigm with epsilon-greedy exploration strategy. The optimal network block is constructed by the learning agent which is trained sequentially to choose component layers. We stack the block to construct the whole auto-generated network. To accelerate the generation process, we also propose a distributed asynchronous framework and an early stop strategy. The block-wise generation brings unique advantages: (1) it performs competitive results in comparison to the hand-crafted state-of-the-art networks on image classification, additionally, the best network generated by BlockQNN achieves 3.54% top-1 error rate on CIFAR-10 which beats all existing auto-generate networks. (2) in the meanwhile, it offers tremendous reduction of the search space in designing networks which only spends 3 days with 32 GPUs, and (3) moreover, it has strong generalizability that the network built on CIFAR also performs well on a larger-scale ImageNet dataset.

연구 동기 및 목표

• 고성능 컨volutional 신경망을 수작업으로 설계할 때 발생하는 높은 계산 비용과 복잡성을 해결하기 위해.
• 층별 아키텍처 생성이 아닌 블록 단위 아키텍처 생성에 초점을 맞춰 신경망 아키텍처 탐색의 검색 공간을 줄이기 위해.
• 자동화된 신경망 아키텍처 생성을 위한 효율적이고 확장 가능하며 일반화 능력이 뛰어난 방법을 개발하기 위해.
• CIFAR-100 및 ImageNet과 같은 다양한 데이터셋 간에 생성된 네트워크의 수렴 속도와 전이 가능성 향상을 위해.

제안 방법

• 경험 재생과 엘파소-그리디 탐색을 갖춘 Q-학습 에이전트가 단일 네트워크 블록에 최적의 구성 레이어를 순차적으로 선택하도록 훈련된다.
• 최적의 블록은 강화학습을 통해 생성되며, 조기 정지된 성능과 수렴된 모델 정확도 간의 상관관계를 반영한 맞춤형 보상 함수를 사용한다.
• 조기 정지 전략은 높은 성능을 보이는 블록을 조기에 식별함으로써 총 학습 시간을 단축시킨다.
• 분산 비동기 프레임워크를 통해 32개의 GPU에 걸쳐 효율적인 확장이 가능해져 검색 시간을 크게 단축시켰다.
• 최종 네트워크는 생성된 최적의 블록들을 스택하여 모듈러하고 일반화 능력이 뛰어난 아키텍처 설계를 가능하게 한다.
• 이 방법은 블록 수와 파라미터 제약 조건을 적응적으로 지원하여 효율성과 모델의 경량화를 향상시킨다.

실험 결과

연구 질문

• RQ1 블록 단위의 신경망 아키텍처 탐색 프레임워크가 상당한 계산 비용 절감을 이끌면서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 조기 정지와 함께 Q-학습이 고성능 네트워크 블록을 가속화하여 발견하는 데 얼마나 효과적인가?
• RQ3 CIFAR-10용으로 자동 생성된 네트워크가 ImageNet과 같은 대규모 데이터셋으로 전이될 수 있는 정도는 어느 정도인가?
• RQ4 제안된 방법이 정확도와 탐색 효율성 측면에서 랜덤 탐색 및 기존의 NAS 접근 방식을 모두 능가할 수 있는가?

주요 결과

• BlockQNN는 CIFAR-10에서 3.54%의 top-1 오차율을 기록하여 기존의 모든 자동 생성 네트워크를 능가한다.
• 32개의 GPU를 사용해 단 3일 만에 수렴을 이뤘으며, NAS의 경우 800개의 GPU를 사용해도 28일이 소요되었기에 상당한 효율성 향상을 보였다.
• 동일한 학습 반복 수에서 BlockQNN가 생성한 최고의 모델은 CIFAR-100에서 랜덤 탐색 대비 top-5 정확도에서 1% 이상 높은 성능을 기록했다.
• 파라미터 및 블록 수 제약 조건이 적용된 BlockQNN-L은 또한 이용 단계에서 랜덤 탐색 기반 모델보다 1% 이상 높은 성능을 기록했다.
• MPII에서의 인물 키포인트 검출을 위한 자동 생성 네트워크는 COCO에서 70.5 AP를 기록했으며, 기존의 SOTA인 hourglass-2-stacks 모델(70.1 AP)을 초월했다.
• 진화 과정을 통해 BlockQNN가 스킵 연결과 연결을 포함한 복잡한 다중 분기 아키텍처를 효과적으로 생성하는 것을 확인했으며, 이는 일반적인 설계 원칙을 효과적으로 학습했다는 것을 시사한다.