[논문 리뷰] Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets

Kai Han, Yunhe Wang외 4명|arXiv (Cornell University)|2020. 10. 28.

Advanced Neural Network Applications참고 문헌 56인용 수 37

한 줄 요약

본 논문은 TinyNet을 제시한다. 이는 Gaussian process regression으로 FLOPs를Resolution과 Depth에 매핑하고, FLOPs로부터 Width를 도출하여 공식을 통해 네트워크를 축소하는 Tiny formula를 이용해 네트워크를 축소하며, TinyNets가 ImageNet 벤치마크에서 역-EfficientNet 축소를 능가한다.

ABSTRACT

To obtain excellent deep neural architectures, a series of techniques are carefully designed in EfficientNets. The giant formula for simultaneously enlarging the resolution, depth and width provides us a Rubik's cube for neural networks. So that we can find networks with high efficiency and excellent performance by twisting the three dimensions. This paper aims to explore the twisting rules for obtaining deep neural networks with minimum model sizes and computational costs. Different from the network enlarging, we observe that resolution and depth are more important than width for tiny networks. Therefore, the original method, i.e., the compound scaling in EfficientNet is no longer suitable. To this end, we summarize a tiny formula for downsizing neural architectures through a series of smaller models derived from the EfficientNet-B0 with the FLOPs constraint. Experimental results on the ImageNet benchmark illustrate that our TinyNet performs much better than the smaller version of EfficientNets using the inversed giant formula. For instance, our TinyNet-E achieves a 59.9% Top-1 accuracy with only 24M FLOPs, which is about 1.9% higher than that of the previous best MobileNetV3 with similar computational cost. Code will be available at https://github.com/huawei-noah/ghostnet/tree/master/tinynet_pytorch, and https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/tinynet.

연구 동기 및 목표

• 모바일/엣지 디바이스를 위한 신경망 축소의 필요성에 대한 동기 부여.
• 소형 네트워크에서 해상도, 깊이, 너비의 상대적 중요성 조사.
• 전방위(frontier) 모델에 기반한 데이터 주도 축소 규칙( tiny formula) 개발.
• FLOPs 제약 하에서 해상도와 깊이에 초점을 맞춘 축소가 TinyNets 더 나은 성능을 내는지 증명.
• TinyNets가 ImageNet 벤치마크에서 Naively inverted EfficientNet 스케일링보다 우수하다는 것 증명

제안 방법

• 고정된 FLOPs 하에서 기초 네트워크 변형들의 정확도 대 FLOPs 관계를 평가.
• 작은 모델에서 해상도와 깊이가 너비보다 더 큰 영향을 준다는 점 확인.
• Pareto-프런티어 선택(NSGA-III)을 사용해 고성능, 저 FLOPs 모델 수집.
• 관찰된 프런티어 모델을 이용해 r(dimension) 및 d(dimension) 매핑을 가우시안 프로세스 회귀(GP)로 모델링.
• w = sqrt(c/(r^2 d))로 FLOPs에서 너비 w 계산.
• EfficientNet-B0 및 ResNet-50에 tiny formula를 적용해 TinyNet 변형 생성

실험 결과

연구 질문

• RQ1 작은 모델에서 고정된 FLOPs 예산 하에 해상도, 깊이, 너비가 각각 성능에 어떤 영향을 미치는가?
• RQ2 데이터 주도 규칙이 TinyNet의 역 EfficientNet 스케일링보다 네트워크 축소에 더 나은가?
• RQ3 주어진 FLOPs 제약에서 정확도를 극대화하기 위한 (해상도, 깊이, 너비)의 최적 조합은 무엇인가?
• RQ4 tiny formula가 EfficientNet-B0를 넘어서 ResNet-50과 같은 다른 아키텍처 및 하위 작업에도 일반화되는가?

주요 결과

모델	가중치	FLOPs	Top-1 정확도	Top-5 정확도
EfficientNet-B -1	200M	200M	75.8%	-
EfficientNet-B -2	97M	97M	72.1%	-
shrink B0 by r=0.70	196M	196M	74.9%	-
shrink B0 by r=0.46	103M	103M	70.3%	-
shrink B0 by d=0.45	196M	196M	76.5%	-
shrink B0 by w=0.65	205M	205M	77.2%	-
TinyNet-B (ours)	201M	201M	77.6%	-
TinyNet-C (ours)	97M	97M	74.1%	-

• TinyNet-E는 24M FLOPs에서 Top-1 정확도 59.9%에 도달하며, 비슷한 비용에서 MobileNetV3 Small 0.5×보다 약 1.9% 포인트 더 높은 성능이다.
• TinyNet-A는 ImageNet-1000에서 339M FLOPs로 Top-1 정확도 76.8%를 달성하여 EfficientNet-B0(387M FLOPs에서 76.7%)를 약간 능가한다.
• TinyNet-A와 TinyNet-E는 역 EfficientNet 규칙 및 단일 차원 조정(r, d, 또는 w)보다 더 나은 정확도/FLOPs 트레이드오프를 보인다.
• TinyNet-D는 52M FLOPs에서 MS COCO의 mAP 19.2를 구현하며 유사 비용에서 EfficientNet-B-3를 능가한다.
• tiny formula를 통한 축소는 모바일에서의 지연(latency)을 개선하며, 예를 들어 TinyNet-A는 유사 정확도에서 EfficientNet-B0보다 15% 더 빠르게 동작한다.
• tiny formula는 Shrinking ResNet-50 및 GhostNet에도 일반화되어 ImageNet에서 일관된 이득을 제공한다.