[논문 리뷰] Fine-Grained Neural Architecture Search

Heewon Kim, Seokil Hong외 3명|arXiv (Cornell University)|2019. 11. 18.

Advanced Neural Network Applications참고 문헌 35인용 수 13

한 줄 요약

FGNAS는 다양한 연산 종류인 컨볼루션, 정규화, 활성화 함수 등을 포함한 각 채널에서의 연산 탐색 및 채널 프루닝을 수행하는 미분 가능하고 종단 간(end-to-end) 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 이미지 분류 및 초해상도에서 상태최저 수준의 성능을 달성하며, FLOPs와 지연 시간을 크게 줄이고, 자원 제약 조건 하에서 기울기 기반 학습을 통해 효율적으로 최적화된다.

ABSTRACT

We present an elegant framework of fine-grained neural architecture search (FGNAS), which allows to employ multiple heterogeneous operations within a single layer and can even generate compositional feature maps using several different base operations. FGNAS runs efficiently in spite of significantly large search space compared to other methods because it trains networks end-to-end by a stochastic gradient descent method. Moreover, the proposed framework allows to optimize the network under predefined resource constraints in terms of number of parameters, FLOPs and latency. FGNAS has been applied to two crucial applications in resource demanding computer vision tasks---large-scale image classification and image super-resolution---and demonstrates the state-of-the-art performance through flexible operation search and channel pruning.

연구 동기 및 목표

• 기존 방법보다 더 넓은 탐색 공간 다양성과 높은 모델 성능을 달성하는 유연하고 확장 가능한 신경망 아키텍처 탐색 방법을 개발하는 것.
• 매우 확장된 탐색 공간이 존재하더라도, 확률적 경사 하강법을 사용한 종단 간 학습이 가능한 신경망 아키텍처를 가능하게 하는 것.
• FLOPs, 파라미터 수, 지연 시간 등의 자원 제약 조건을 최적화 목표에 직접 통합하여 효율적이고 실용적인 모델 배포를 가능하게 하는 것.
• 채널 단위의 운영 탐색, 특히 채널 프루닝이 다양한 비전 작업에서 모델의 효율성과 정확도 향상에 얼마나 효과적인지 입증하는 것.

제안 방법

• FGNAS는 각 채널이 컨볼루션, 정규화, 활성화 함수, 그리고 비작동(프루닝)을 포함한 다양한 운영 중에서 독립적으로 선택할 수 있도록 채널 수준에서 운영 탐색을 수행한다.
• 이 방법은 기울기 기반 최적화를 가능하게 하기 위해 미분 가능한 게이팅 함수를 사용하며, 이는 확률적 경사 하강법을 통한 종단 간 학습을 가능하게 한다.
• 정확도와 자원 제약 조건(FLOPs, 지연 시간, 파라미터 수)을 동시에 최적화하기 위해 미분 가능한 정규화 항목을 도입하여 통합된 프레임워크 내에서 다목적 최적화를 가능하게 한다.
• 탐색 공간은 다양한 커널 크기(1×1, 3×3, 5×5, 7×7, 9×9, 11×11), 활성화 함수(ReLU, PReLU, tanh), 그리고 채널 프루닝을 포함하여 높은 아키텍처 유연성을 제공한다.
• 레이어 수준 및 채널 수준 최적화를 지원하며, 모든 레이어에 동시에 탐색을 수행함으로써 반복적 또는 히وري스틱 탐색 전략의 필요성을 줄인다.
• VGG-16, ResNet, DenseNet 백본에서 평가되었으며, 아블레이션 스터디를 통해 채널 단위 탐색과 게이팅 함수 설계의 중요성이 확인되었다.

실험 결과

연구 질문

• RQ1 다양한 운영과 채널 프루닝을 포함한 채널 단위 운영 탐색이 레이어 수준 또는 블록 수준 NAS보다 모델 정확도와 효율성에서 뚜렷한 향상을 이끌 수 있는가?
• RQ2 정확도와 자원 제약 조건(FLOPs, 지연 시간)을 함께 최적화하는 미분 가능한 아키텍처 탐색이 모델 성능과 탐색 효율성에 어떤 영향을 미치는가?
• RQ3 탐색 공간의 세분화 수준을 레이어에서 채널 수준으로 높임으로써 아키텍처 다양성과 모델 성능이 얼마나 향상되는가?
• RQ4 FGNAS는 이미지 분류와 초해상도 모두에서 FLOPs와 추론 시간을 줄이며 최고 성능을 달성할 수 있는가?

주요 결과

• CIFAR-10에서 FGNAS는 원본 VGG-16 대비 FLOPs를 5.7배 감소시켰으며, 정확도 저하율은 0.3% 이하를 유지했다.
• CIFAR-10에서 FGNAS(P)는 Slimming 및 AMC와 같은 이전 프루닝 방법보다 높은 정확도를 달성했으며, 탐색 비용은 1 GPU 시간으로 제한된 반면, 강화학습 기반 방법은 30 GPU 일에 이르렀다.
• 초해상도 작업에서 FGNAS는 FLOPs를 1.5배 감소시키고, 파라미터 수도 최고 수준의 NAS 방법을 뛰어넘었으며, 3층의 SRCNN 모델조차도 뛰어넘는 성능을 보였다.
• FGNAS가 탐색한 110M FLOPs 네트워크에서는 5번째 레이어에서 31종류의 서로 다른 운영 유형을 사용하여 레이어당 높은 아키텍처 복잡성과 유연성을 입증했다.
• 이 방법은 1×1 컨볼루션을 채널 확장과 효율성 향상에 자주 사용하며, 풀링 레이어 이후에는 특징 추출을 위해 더 큰 커널(5×5)을 선호함을 확인했다.
• 아블레이션 스터디를 통해 채널 단위 탐색과 미분 가능한 게이팅 함수의 사용이 성능 향상에 뚜렷한 기여를 하며, 유형(2) 게이팅 함수가 레이어 단위 대안보다 뛰어난 성능을 보였다.