[논문 리뷰] Energy-Aware Neural Architecture Optimization with Fast Splitting Steepest Descent

Dilin Wang, Meng Li외 3명|arXiv (Cornell University)|2019. 10. 07.

Advanced Neural Network Applications참고 문헌 31인용 수 9

한 줄 요약

이 논문은 에너지 소비를 고려한 신경망 아키텍처 탐색 방법을 제안하며, Liu 등(2019b)의 방법을 개선하여 분할 과정에 에너지 비용을 통합하고, 계산 비용을 줄이기 위해 빠른 레일리 몫 확률적 경사하강법을 도입한다. 이 방법은 ImageNet에서 최신 기준의 정확도-FLOPs 트레이드오프를 달성하여, MobileNetV2보다 0.8% 높은 상위-1 정확도와 MobileNetV1보다 1.0% 높은 정확도를 확보하면서도 낮은 FLOPs를 유지한다.

ABSTRACT

Designing energy-efficient networks is of critical importance for enabling state-of-the-art deep learning in mobile and edge settings where the computation and energy budgets are highly limited. Recently, Liu et al. (2019) framed the search of efficient neural architectures into a continuous splitting process: it iteratively splits existing neurons into multiple off-springs to achieve progressive loss minimization, thus finding novel architectures by gradually growing the neural network. However, this method was not specifically tailored for designing energy-efficient networks, and is computationally expensive on large-scale benchmarks. In this work, we substantially improve Liu et al. (2019) in two significant ways: 1) we incorporate the energy cost of splitting different neurons to better guide the splitting process, thereby discovering more energy-efficient network architectures; 2) we substantially speed up the splitting process of Liu et al. (2019), which requires expensive eigen-decomposition, by proposing a highly scalable Rayleigh-quotient stochastic gradient algorithm. Our fast algorithm allows us to reduce the computational cost of splitting to the same level of typical back-propagation updates and enables efficient implementation on GPU. Extensive empirical results show that our method can train highly accurate and energy-efficient networks on challenging datasets such as ImageNet, improving a variety of baselines, including the pruning-based methods and expert-designed architectures.

연구 동기 및 목표

• 자원이 제한된 모바일 및 엣지 환경에서 기존 신경망 아키텍처 탐색 방법의 비효율성을 해결하기 위해.
• Liu 등(2019b)의 방법을 개선하기 위해 분할 과정에 에너지 비용을 통합하여 더 에너지 효율적인 아키텍처 탐색을 유도하기 위해.
• 기존 분할 기울어진 내림셈 방법에서 고유값 분해의 높은 계산 비용을 줄이기 위해, 특히 대규모 네트워크에서의 비용을 감소시키기 위해.
• 새로운 확률적 경사하강 근사법을 통해 분할 과정의 효율적이고 확장 가능하며 GPU 호환 가능한 구현을 가능하게 하기 위해.
• 이론적 및 전문가 설계 모델에 비해 ImageNet과 같은 대규모 벤치마크에서 뛰어난 정확도-FLOPs 트레이드오프를 달성하기 위해.

제안 방법

• 낮은 에너지 비용을 가진 뉴런을 우선적으로 분할하는 에너지 인지 분할 절차를 도입하여, 더 효율적인 모델로의 아키텍처 탐색을 유도한다.
• 고유값 분해 단계를 근사하기 위해 빠른 레일리 몫 확률적 경사하강법을 제안하여 시간 복잡도를 O(nd³)에서 O(nd²)로 감소시킨다.
• 공간 복잡도를 O(nd²)에서 O(nd)로 감소시켜 효율적인 GPU 구현과 대규모 네트워크 학습을 가능하게 한다.
• Liu 등(2019b)의 연속 최적화 프레임워크를 유지하며, 무한차원 공간에서의 기울어진 내림셈을 사용하여 암묵적인 아키텍처 공간 탐색을 가능하게 한다.
• 파rametric 업데이트 단계와 분할 단계를 통합: 먼저 경사하강법으로 가중치를 최적화한 후, 에너지 인지 기준과 빠른 경사 근사에 기반해 뉴런을 분할한다.
• 각 단계에서 분할할 뉴런 수를 제어하기 위해 성장 비율 α를 사용하여 탐색과 효율성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 에너지 비용이 분할 과정에 효과적으로 통합되어 더 에너지 효율적인 신경망 아키텍처 탐색을 유도할 수 있는가?
• RQ2 분할 기울어진 내림셈에서 계산 비용이 높은 고유값 분해 단계를 GPU 호환 가능한 확장 가능한, 미분 가능한 근사로 대체할 수 있는가?
• RQ3 제안된 방법이 ImageNet과 같은 대규모 벤치마크에서 기존의 프루닝 기반 및 전문가 설계 모델에 비해 더 나은 정확도-FLOPs 트레이드오프를 달성하는가?
• RQ4 학습 및 분할 과정에서 성장 비율 α와 무작위 초기화에 대한 하이퍼파ram터 선택에 대해 이 방법이 얼마나 강인한가?
• RQ5 이전 방법들이 겪는 메모리 및 계산 병목 현상을 극복하고, ImageNet에서 사용되는 대규모 모델로도 확장 가능한가?

주요 결과

• 제안된 방법은 ImageNet에서 MobileNetV1보다 1.0% 높은 상위-1 정확도와 MobileNetV2보다 0.8% 높은 정확도를 확보하면서 FLOPs를 감소시켰다.
• CIFAR-100에서, 이 방법은 프루닝 기반 기준보다 더 나은 정확도-FLOPs 트레이드오프를 달성하여 뛰어난 효율성을 입증했다.
• 분할 과정의 계산 비용을 표준 백프로파게이션 수준으로 낮춰 효율적인 GPU 구현을 가능하게 하였다.
• 성장 비율 α가 [0.3, 0.5] 범위에 있을 때 성능이 가장 우수했으며, α = 0.2는 고비용 레이어의 탐색이 부족해 최적의 성능을 내지 못했다.
• 무작위 초기화 및 데이터 셔플링에 대해 강인했으며, 다양한 시드를 사용한 여러 실행에서 일관된 성능을 보였다.
• 절단 실험을 통해 에너지 인지 분할이 특히 저FLOPs 환경에서 더 효율적인 아키텍처를 도출함을 확인했다.