[논문 리뷰] ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks

Haoran You, Baopu Li외 3명|arXiv (Cornell University)|2022. 05. 17.

Advanced Neural Network Applications인용 수 5

한 줄 요약

ShiftAddNAS는 곱셈 기반(예: 컨볼루션, 어텐션) 및 곱셈이 없는 연산자(예: 비트 시프트, 덧셈)를 통합한 유일한 하이브리드 검색 공간을 통해 정확도와 효율성을 동시에 최적화하는 새로운 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 컨볼루션에 대해 정규분포를, 어드러에 대해 라플라스 분포를 사용하는 이질적인 가중치 공유 전략을 도입하여, 최소한의 슈퍼넷 크기 증가로 효율적인 탐색을 가능하게 하며, 기존 최상위 기술 대비 최대 7.7% 높은 정확도와 93%의 에너지 절감을 달성한다.

ABSTRACT

Neural networks (NNs) with intensive multiplications (e.g., convolutions and transformers) are capable yet power hungry, impeding their more extensive deployment into resource-constrained devices. As such, multiplication-free networks, which follow a common practice in energy-efficient hardware implementation to parameterize NNs with more efficient operators (e.g., bitwise shifts and additions), have gained growing attention. However, multiplication-free networks usually under-perform their vanilla counterparts in terms of the achieved accuracy. To this end, this work advocates hybrid NNs that consist of both powerful yet costly multiplications and efficient yet less powerful operators for marrying the best of both worlds, and proposes ShiftAddNAS, which can automatically search for more accurate and more efficient NNs. Our ShiftAddNAS highlights two enablers. Specifically, it integrates (1) the first hybrid search space that incorporates both multiplication-based and multiplication-free operators for facilitating the development of both accurate and efficient hybrid NNs; and (2) a novel weight sharing strategy that enables effective weight sharing among different operators that follow heterogeneous distributions (e.g., Gaussian for convolutions vs. Laplacian for add operators) and simultaneously leads to a largely reduced supernet size and much better searched networks. Extensive experiments and ablation studies on various models, datasets, and tasks consistently validate the efficacy of ShiftAddNAS, e.g., achieving up to a +7.7% higher accuracy or a +4.9 better BLEU score compared to state-of-the-art NN, while leading to up to 93% or 69% energy and latency savings, respectively. Codes and pretrained models are available at https://github.com/RICE-EIC/ShiftAddNAS.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에서 모델 정확도와 하드웨어 효율성 간의 상충 관계를 해결하기 위해.
• 기존 NAS 방법이 곱셈 기반 또는 곱셈이 없는 네트워크 중 하나에만 집중하는 한계를 극복하기 위해.
• 강력한 곱셈 연산과 효율적인 시프트-덧셈 연산을 모두 지원하는 하이브리드 검색 공간을 개발하여 성능과 효율성의 균형을 이루기 위해.
• 다른 연산자 유형 간에 이질적인 가중치 분포(정규분포 대비 라플라스 분포)를 효과적으로 처리할 수 있는 가중치 공유 전략을 설계하기 위해.
• 컴퓨터 비전 및 자연어 처리 작업 모두에서 동시에 높은 정확도와 낮은 에너지/지연 시간 비용을 달성하는 신경망 아키텍처를 자동으로 탐색할 수 있도록 하기 위해.

제안 방법

• 곱셈 기반 연산자(예: 표준 컨볼루션, 자기어텐션)와 곱셈이 없는 연산자(예: 시프트 및 어드러 레이어)를 포함하는 새로운 하이브리드 검색 공간을 도입하여 통합 아키텍처 탐색을 수행한다.
• 다른 가중치 분포를 가진 연산자 간에 효과적인 파rameter 공유를 가능하게 하는 이질적 가중치 공유(HWS) 전략을 제안하여, 단순한 가중치 공유 방식이 성능 저하를 초래하는 것을 방지한다.
• 슈퍼넷 학습 중 컨볼루션 레이어와 어드러 레이어의 가중치 분포를 일치시키기 위해 지식 정착 손실(KL 발산)을 활용하여 탐색의 일관성을 향상시킨다.
• HWS 전략을 적용하여 슈퍼넷 크기를 41% 감소시켜(615M에서 364M 파라미터로), 탐색 비용을 크게 낮춘다.
• 진행적 축소와 조기 정지 기법을 활용한 표준 NAS 학습 파이프라인을 적용하여 확장된 검색 공간을 효율적으로 탐색한다.
• ImageNet 및 CIFAR 벤치마크에서 프레임워크를 검증하였으며, FBNet 및 BossNAS와 같은 기존 NAS 기반 모델과의 통합을 통해 분석 및 비교를 수행한다.

실험 결과

연구 질문

• RQ1 일관된 NAS 프레임워크는 곱셈 기반 및 곱셈이 없는 연산자를 조합한 하이브리드 신경망 아키텍처를 효과적으로 탐색하여 더 나은 정확도와 효율성의 상충 관계를 해소할 수 있는가?
• RQ2 곱셈 기반 연산자(예: 정규분포)와 곱셈이 없는 연산자(예: 라플라스 분포) 간에 근본적으로 다른 가중치 분포를 가진 연산자 간에 성능 저하 없이 가중치 공유를 효과적으로 적용할 수 있는가?
• RQ3 제안된 이질적 가중치 공유 전략은 슈퍼넷 크기와 탐색 비용을 줄이면서도 아키텍처 순위 일관성을 유지하거나 향상시키는가?
• RQ4 하이브리드 검색 공간은 순수하게 곱셈 기반 또는 순수하게 곱셈이 없는 검색 공간에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ5 ShiftAddNAS는 컴퓨터 비전 및 자연어 처리 작업 모두에서 최신 기술 및 수작업 설계 모델을 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• ShiftAddNAS는 동일한 FLOPs 제약 조건 하에서 ImageNet에서 가장 강력한 SOTA 기준 대비 최대 7.7% 높은 정확도를 달성한다.
• 프레임워크는 SOTA 모델 대비 최대 93%의 에너지 절감과 69%의 지연 시간 감소를 보이며 강력한 하드웨어 효율성을 입증한다.
• 이질적 가중치 공유(HWS) 전략은 슈퍼넷 크기를 41% 감소시켜(615M에서 364M 파라미터로), 탐색 비용을 크게 낮춘다.
• HWS는 순위 상관관계를 향상시켜(Kendall τ: 0.54 대비 0.49) ImageNet에서 단순 가중치 공유 대비 1.4%의 정확도 향상을 이룬다.
• CIFAR-10과 CIFAR-100에서 ShiftAddNAS는 각각 FBNet 대비 +0.74%와 +0.58%의 정확도 향상을 기록했으며, 지연 시간은 각각 33.8%와 38.6% 감소시켰다.
• 절단 분석 결과, 어텐션, 컨볼루션, 시프트, 어드러를 모두 포함한 전체 하이브리드 검색 공간이 모든 변형보다 뛰어나며, 모든 연산자 유형을 포함하는 것이 필수적임을 입증한다.