[논문 리뷰] Efficient Differentiable Neural Architecture Search with Meta Kernels

Shoufa Chen, Yunpeng Chen외 2명|arXiv (Cornell University)|2019. 12. 10.

Advanced Neural Network Applications참고 문헌 51인용 수 14

한 줄 요약

이 논문은 특징 맵이 아닌 컨볼루션 커널을 직접 인코딩하는 새로운 미분 가능 신경망 아키텍처 탐색 방법을 제안한다. 메타 커널을 사용해 다수의 커널 후보를 하나의 효과적인 커널로 통합한다. 특징 대신 커널에서 작동함으로써, 이 방법은 메모리와 계산 비용을 수십만 배 감소시키면서도 커널 크기의 세분화된 탐색을 가능하게 하여, 단지 357M FLOPs로 ImageNet에서 77.0%의 top-1 정확도를 달성한다. 이는 동일한 제약 조건에서 EfficientNet과 MobileNetV3를 능가하며, 최신 기술의 NAS 방법보다 속도 면에서 세 배 정도 빠르다.

ABSTRACT

The searching procedure of neural architecture search (NAS) is notoriously time consuming and cost prohibitive.To make the search space continuous, most existing gradient-based NAS methods relax the categorical choice of a particular operation to a softmax over all possible operations and calculate the weighted sum of multiple features, resulting in a large memory requirement and a huge computation burden. In this work, we propose an efficient and novel search strategy with meta kernels. We directly encode the supernet from the perspective on convolution kernels and "shrink" multiple convolution kernel candidates into a single one before these candidates operate on the input feature. In this way, only a single feature is generated between two intermediate nodes. The memory for storing intermediate features and the resource budget for conducting convolution operations are both reduced remarkably. Despite high efficiency, our search strategy can search in a more fine-grained way than existing works and increases the capacity for representing possible networks. We demonstrate the effectiveness of our search strategy by conducting extensive experiments. Specifically, our method achieves 77.0% top-1 accuracy on ImageNet benchmark dataset with merely 357M FLOPs, outperforming both EfficientNet and MobileNetV3 under the same FLOPs constraints. Compared to models discovered by the start-of-the-art NAS method, our method achieves the same (sometimes even better) performance, while faster by three orders of magnitude.

연구 동기 및 목표

• 기존 기울기 기반 NAS 방법이 탐색 중에 다수의 특징 맵을 집계함에 따라 발생하는 높은 계산 및 메모리 비용을 해결한다.
• 모델 성능을 훼손하지 않으면서도, 미분 가능 NAS의 검색 시간과 자원 소비를 줄인다.
• 특징 맵 대신 컨볼루션 커널 파rameter를 직접 최적화함으로써 세분화된 아키텍처 탐색을 가능하게 한다.
• 한 개의 컨볼루션 레이어 내에서 다중 척도 커널 크기를 활용하여 수용 영역과 표현 능력을 향상시킨다.
• 기존 아키텍처와 연산(예: atrous, 비대칭 컨볼루션)과 호환되는 방법을 개발한다.

제안 방법

• 입력 특징에 컨볼루션 커널을 적용하기 이전에 커널들의 가중합을 계산하는 커널 수준의 슈퍼넷 설정을 제안하며, 이는 컨볼루션 후 특징 맵을 합산하는 방식이 아니다.
• 컨볼루션의 가환성 성질을 활용: 크기가 호환되는 다수의 커널을 하나의 등가 커널으로 합칠 수 있으며, 이는 계산 및 메모리 사용을 감소시킨다.
• 다른 크기의 커널을 처리하기 위해 확률적 커널 마스크를 도입하여 유효하지 않은 영역을 마스킹함으로써, 서로 다른 형태의 커널을 직접 합칠 수 있도록 한다.
• 다양한 후보 커널(예: 3×3, 5×5, 7×7)을 하나의 학습 가능한 커널로 통합하는 메타 커널을 설계하여, 커널 구성에 대한 엔드 투 엔드 미분 가능 탐색을 가능하게 한다.
• 아키텍처 파rameter를 특징 맵이 아닌 커널 수준에서 기울기 하강법을 통해 최적화하는 미분 가능 검색 파이프라인에 적용한다.
• 깊이 분리형 컨볼루션, atrous 컨볼루션, 비대칭 컨볼루션과 같은 표준 연산과 호환성을 확보하기 위해 동일한 커널 수준 융합 원리를 적용한다.

실험 결과

연구 질문

• RQ1 특징 맵에서 컨볼루션 커널로 탐색을 전환함으로써, 미분 가능 NAS의 메모리 및 계산 비용을 줄일 수 있는가?
• RQ2 특징 수준 탐색에 비해 커널 수준 탐색은 커널 크기 선택 측면에서 더 세분화된 아키텍처 탐색을 가능하게 하는가?
• RQ3 다양한 크기의 후보 커널을 효과적으로 하나의 메타 커널이 표현할 수 있는가, 성능 손실 없이?
• RQ4 ImageNet 및 COCO에서 최신 기술의 NAS 접근법에 비해 제안된 방법의 검색 효율성과 최종 모델 정확도는 어떻게 비교되는가?
• RQ5 네트워크 깊이에 따라 커널 크기의 학습된 분포는 무엇이며, 기존의 CNN 설계에서 알려진 인덕티브 편향과 일치하는가?

주요 결과

• 제안된 방법은 단지 357M FLOPs로 ImageNet에서 77.0%의 top-1 정확도를 달성하여, 동일한 FLOPs 제약 조건에서 EfficientNet과 MobileNetV3를 모두 능가한다.
• 최신 기술의 NAS 방법과 비교해 검색 비용을 약 3개 정도 감소시켜 더 빠른 훈련을 가능하게 하면서도 성능을 유지하거나 향상시킨다.
• Pascal VOC2007 객체 검출 벤치마크에서 메타 커널-B 모델은 유사한 FLOPs로 MobileNetV3(×1.25)를 능가하는 77.4%의 mAP를 기록한다.
• 모델은 얕은 레이어에서는 작은 커널(예: 3×3)을 선호하고 깊은 레이어에서는 더 큰 커널(예: 5×5, 7×7)을 선호하는 경향을 보이며, 이는 알려진 아키텍처의 인덕티브 편향과 일치한다.
• atrous 및 비대칭 컨볼루션과 같은 고급 연산과도 호환되며, 아키텍처 변경 없이 적용 범위를 넓힌다.
• 메타 커널 설정은 중간 특징 저장 및 컨볼루션 계산을 직접 커널에서 수행함으로써 중간 저장소와 계산 오버헤드를 크게 감소시킨다.