[논문 리뷰] SwiftNet: Using Graph Propagation as Meta-knowledge to Search Highly Representative Neural Architectures

Hsin-Pai Cheng, Tunhou Zhang외 6명|arXiv (Cornell University)|2019. 06. 19.

Advanced Neural Network Applications참고 문헌 36인용 수 8

한 줄 요약

이 논문은 GRAM(GRAph propagation as Meta-knowledge)을 제안하며, 이는 검색 반복 동안 축적된 학습 지식을 사용하는 메타그래프를 활용해 광범위한 아키텍처 공간에서 매우 효율적이고 유연한 신경망 아키텍처 탐색을 가능하게 하는 새로운 네트워크 아키텍처 탐색 방법이다. 고정된 셀 구조를 노드 기반의 탐색으로 대체하고, 구조 수준의 프루닝을 도입함으로써, GRAM은 MobileNet-V2보다 2.15배 높은 정확도 밀도를 달성하고, FBNet보다 26배 낮은 검색 비용을 기록하며, 단지 53M MACs와 2.07M 파라미터로 ImageNet-1K에서 63.28%의 top-1 정확도를 달성한 SwiftNet 모델을 발견한다.

ABSTRACT

Designing neural architectures for edge devices is subject to constraints of accuracy, inference latency, and computational cost. Traditionally, researchers manually craft deep neural networks to meet the needs of mobile devices. Neural Architecture Search (NAS) was proposed to automate the neural architecture design without requiring extensive domain expertise and significant manual efforts. Recent works utilized NAS to design mobile models by taking into account hardware constraints and achieved state-of-the-art accuracy with fewer parameters and less computational cost measured in Multiply-accumulates (MACs). To find highly compact neural architectures, existing works relies on predefined cells and directly applying width multiplier, which may potentially limit the model flexibility, reduce the useful feature map information, and cause accuracy drop. To conquer this issue, we propose GRAM(GRAph propagation as Meta-knowledge) that adopts fine-grained (node-wise) search method and accumulates the knowledge learned in updates into a meta-graph. As a result, GRAM can enable more flexible search space and achieve higher search efficiency. Without the constraints of predefined cell or blocks, we propose a new structure-level pruning method to remove redundant operations in neural architectures. SwiftNet, which is a set of models discovered by GRAM, outperforms MobileNet-V2 by 2.15x higher accuracy density and 2.42x faster with similar accuracy. Compared with FBNet, SwiftNet reduces the search cost by 26x and achieves 2.35x higher accuracy density and 1.47x speedup while preserving similar accuracy. SwiftNetcan obtain 63.28% top-1 accuracy on ImageNet-1K with only 53M MACs and 2.07M parameters. The corresponding inference latency is only 19.09 ms on Google Pixel 1.

연구 동기 및 목표

• 고정된 셀 및 너비 다중화 기반의 NAS 방법의 한계를 해결하여, 소형 모델에서 모델의 유연성과 특징 표현 능력을 저하시키는 문제를 해결한다.
• 기존의 NAS가 비효율적이고 적응성이 떨어지는 문제를 해결하기 위해, 검색 반복 과정에서 학습된 지식을 유지함으로써 지속 가능한 지식 축적을 가능하게 한다.
• 자원 인식 가능한 탐색 공간을 통해 엣지 디바이스용 고정확도, 저지연 시간 신경망 아키텍처를 가능하게 한다.
• 학습된 아키텍처를 직접적으로 새로운 작업에 구조적으로 적응시킬 수 있는 방법을 개발함으로써, 추가 미세조정 없이도 유연한 구조적 적응을 가능하게 한다.
• 계산 비용(MACs)과 모델 크기를 최소화하면서도 뛰어난 정확도-밀도와 인퍼런스 속도를 달성한다.

제안 방법

• 연산을 노드로, 텐서 흐름을 간선으로 하는 완전한 계산 DAG 내에서 신경망 아키텍처 탐색을 하위-DAG 선택 문제로 모델링한다.
• 각 검색 반복에서 축적된 지식을 동적 메타그래프에 통합하는 노드 기반의 탐색 전략을 도입하여, 지식의 유지 및 재사용을 가능하게 한다.
• 메타그래프를 반복적으로 업데이트하기 위해 지브스 샘플링을 사용함으로써, 약 10^63 크기의 탐색 공간을 효율적으로 탐색할 수 있다.
• 메타그래프 내의 낮은 가중치 간선을 제거하는 구조 수준의 프루닝을 제안하여 자원 인식 가능한 모델을 생성함으로써, 기존의 너비 스케일링 방식을 대체한다.
• 학습된 메타그래프를 활용해 추가 미세조정 없이도 다양한 작업에 대한 새로운 아키텍처를 직접 생성함으로써, 구조적 적응성을 가능하게 한다.
• 더 복잡한 작업에 적응할 때의 과소적합을 방지하기 위해, 메타그래프에 채널 업스케일링을 적용한다.

실험 결과

연구 질문

• RQ1 반복적인 검색에서 축적된 지식을 담은 메타그래프가 신경망 아키텍처 탐색의 효율성과 모델 성능을 향상시킬 수 있는가?
• RQ2 고정된 셀 구조를 노드 기반의 탐색 전략으로 대체함으로써 더 높은 아키텍처의 다양성과 더 높은 정확도 밀도를 달성할 수 있는가?
• RQ3 구조 수준의 프루닝이 전통적인 너비 다중화 기반 압축 기법에 비해 정확도와 지연 시간 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 사전 학습된 메타그래프가 추가적인 미세조정 없이 새로운 작업에 얼마나 잘 구조적으로 적응할 수 있는가?
• RQ5 제안된 방법이 MACs와 파라미터 수를 최소화하면서도 최신 기술 수준의 정확도-밀도와 인퍼런스 속도를 달성할 수 있는가?

주요 결과

• SwiftNet는 단지 53M MACs와 2.07M 파라미터로 ImageNet-1K에서 63.28%의 top-1 정확도를 달성하여 소형 모델의 새로운 기준을 설정한다.
• SwiftNet는 MobileNet-V2보다 정확도 밀도에서 2.15배 높으며, 유사한 정확도에서 2.42배 더 빠른 인퍼런스 지연 시간을 기록한다.
• SwiftNet의 검색 비용은 FBNet 대비 26배 낮지만, 유사한 정확도를 유지하면서도 1.47배 낮은 지연 시간을 기록한다.
• Google Pixel 1에서 SwiftNet는 96×96 입력 크기에서 19.09ms의 인퍼런스 지연 시간을 기록하여 엣지 디바이스에서 실시간 성능을 입증한다.
• 메타그래프를 통해 추가적인 미세조정 없이도 직접적인 구조적 적응이 가능하여, MNIST에서 99.24%의 정확도, SVHN에서 94.95%, Fashion MNIST에서 93.56%의 정확도를 달성한다.
• 다중 스레드 인퍼런스를 통해 세 개의 DAG에서 동시 계산이 가능해져 SwiftNet에서 약 2배의 속도 향상을 기록하며, 효율적인 하드웨어 활용을 입증한다.