[논문 리뷰] Neural Architecture Search for Lightweight Non-Local Networks

Yingwei Li, Xiaojie Jin외 8명|arXiv (Cornell University)|2020. 04. 04.

Advanced Neural Network Applications참고 문헌 50인용 수 4

한 줄 요약

이 논문은 모바일 신경망에서 경량 Non-Local(경량NL) 블록을 설계하고, 미분 가능 신경망 아키텍처 탐색을 사용하여 그 배치와 구성 최적화를 수행하는 AutoNL를 제안한다. 표준 Non-Local 블록 대비 계산량을 400배 감소시키고, 엔드 투 엔드 탐색을 가능하게 함으로써 AutoNL는 350M FLOPs에서 ImageNet의 top-1 정확도 77.7%를 달성한다. 이는 MobileNetV3, MnasNet, FBNet을 뛰어넘는 성능이며, FLOPs는 더 낮고 검색 속도는 더 빠르다(32 GPU 시간).

ABSTRACT

Non-Local (NL) blocks have been widely studied in various vision tasks. However, it has been rarely explored to embed the NL blocks in mobile neural networks, mainly due to the following challenges: 1) NL blocks generally have heavy computation cost which makes it difficult to be applied in applications where computational resources are limited, and 2) it is an open problem to discover an optimal configuration to embed NL blocks into mobile neural networks. We propose AutoNL to overcome the above two obstacles. Firstly, we propose a Lightweight Non-Local (LightNL) block by squeezing the transformation operations and incorporating compact features. With the novel design choices, the proposed LightNL block is 400x computationally cheaper} than its conventional counterpart without sacrificing the performance. Secondly, by relaxing the structure of the LightNL block to be differentiable during training, we propose an efficient neural architecture search algorithm to learn an optimal configuration of LightNL blocks in an end-to-end manner. Notably, using only 32 GPU hours, the searched AutoNL model achieves 77.7% top-1 accuracy on ImageNet under a typical mobile setting (350M FLOPs), significantly outperforming previous mobile models including MobileNetV2 (+5.7%), FBNet (+2.8%) and MnasNet (+2.1%). Code and models are available at https://github.com/LiYingwei/AutoNL.

연구 동기 및 목표

• 모바일 비전 시스템에서 Non-Local(NL) 블록의 높은 계산 비용 문제를 해결함으로써, 자원이 제한된 환경에서의 배포 가능성을 높이기 위해.
• 모바일 네트워크에 NL 블록을 최적의 위치와 구성으로 수동으로 선택하는 데 있어 높은 복잡도로 인해 해결이 불가능한 문제를 해결하기 위해.
• 성능를 유지하면서 FLOPs를 극적으로 줄이는, 검색에 적합하고 계산 효율성이 높은 NL 블록을 설계하기 위해.
• 엔드 투 엔드 방식으로 경량NL 블록의 위치, 채널 샘플링, 공간 스트라이드를 동시에 최적화할 수 있는 미분 가능 신경망 아키텍처 탐색 알고리즘을 개발하기 위해.
• 최소한의 검색 비용과 FLOP 예산으로 모바일 환경에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 전체 행렬 곱셈과 표준 1×1 컨벌루션과 같은 무거운 연산을 깊이 분리 컨벌루션과 소형·고밀도 연산으로 대체하는 경량 Non-Local(LightNL) 블록을 제안한다.
• LightNL 블록의 구조에 대해 미분 가능 리프레젠테이션을 도입하여, 채널 샘플링 비율(25% 또는 12.5%) 및 공간 스트라이드(1 또는 2)와 같은 이산적 선택에 대한 기울기 기반 최적화를 가능하게 한다.
• 각 잠재적 삽입 지점에 대해 다섯 가지 후보 구성이 포함된 미분 가능 탐색 공간을 사용한다: LightNL의 존재/부재, 채널 샘플링, 공간 샘플링.
• 정확도와 FLOPs를 동시에 고려하는 다목적 손실 함수를 사용하여, 고정확도 및 저FLOPs를 향한 탐색을 유도한다.
• 단일 순방향 전파에서 여러 후보 구성 간에 중간 계산 결과인 유사도 행렬을 재사용하여 불필요한 계산을 줄이고 검색 속도를 향상시킨다.
• 기본 아키텍처로 MobileNetV2 블록을 사용하여 ImageNet에서 엔드 투 엔드 탐색을 수행하며, 깊이 다중수, 확장 비율, SE 모듈 비율을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 Non-Local 블록을 얼마나 계산 효율적으로 개선할 수 있을까? 이는 성능 손실 없이 모바일 기기에서의 배포가 가능하도록 할 수 있는가?
• RQ2 모바일 신경망에 Non-Local 블록을 삽입할 때 최적의 구성(위치, 채널 샘플링, 공간 스트라이드)은 무엇인가?
• RQ3 미분 가능 신경망 아키텍처 탐색이 경량 Non-Local 블록의 구조와 위치를 동시에 효과적으로 최적화하는 데 적용될 수 있는가?
• RQ4 동일한 FLOP 예산 하에서, LightNL 블록을 탐색 최적화한 모델의 성능은 수작업 설계된 모바일 모델과 다른 NAS 기반 모델에 비해 어떻게 비교되는가?
• RQ5 모바일 비전 작업을 위한 고품질 모델 탐색을 유지하면서도 검색 과정을 가속화할 수 있는가?

주요 결과

• 제안된 LightNL 블록은 표준 Non-Local 블록 대비 계산량을 400배 감소시키면서도 성능를 유지하여, 모바일 배포에 적합하다.
• AutoNL-S는 단지 267M FLOPs로 ImageNet에서 top-1 정확도 76.5%를 달성하여, FLOPs가 25% 더 적은 MobileNetV3(356M FLOPs에서 76.6%)를 뛰어넘는다.
• AutoNL-L은 353M FLOPs에서 top-1 정확도 77.7%를 기록하며, FLOP 비용이 유사한 조건에서 MobileNetV3를 1.1% 뛰어나고 FBNet을 2.8% 뛰어난 성능을 보인다.
• AutoNL-L은 FLOPs를 10% 더 적게 사용하면서도 EfficientNet-B0를 1.4% 뛰어난 top-1 정확도로 개선하여, 효율-정확도 트레이드오프에서 뛰어난 성능을 입증한다.
• 검색 과정은 단지 32 GPU 시간이 소요되며, MixNet가 요구하는 91,000 GPU 시간 대비 2,800배 빠르며, 더 높은 정확도를 달성한다.
• 극도로 낮은 FLOP 설정(예: 192×192 입력, 0.5 깊이 다중수)에서도 AutoNL-S는 top-1 정확도 69.6%를 기록하여, MobileNetV2보다 5.7% 높고 FBNet보다 3.7% 높다.