[논문 리뷰] Tetra-AML: Automatic Machine Learning via Tensor Networks

A. Naumov, Ar. Melnikov외 6명|arXiv (Cornell University)|2023. 03. 28.

Advanced Neural Network Applications인용 수 6

한 줄 요약

Tetra-AML은 신경망 아키텍처 탐색(NAS)과 하이퍼파rameter 최적화(HPO)를 효율적으로 수행하기 위해 텐서 네트워크와 새로운 블랙박스 최적화기인 TetraOpt를 활용하는 자동화된 머신러닝 프레임워크를 소개한다. CIFAR-10에서 최신 기준 성능을 달성하며, 병합된 양자화, 프루닝 및 텐서 네트워크 압축을 통해 ResNet-18의 메모리 사용량을 14.5배 감소시켰고, 정확도 손실은 3.2%에 그쳤다.

ABSTRACT

Neural networks have revolutionized many aspects of society but in the era of huge models with billions of parameters, optimizing and deploying them for commercial applications can require significant computational and financial resources. To address these challenges, we introduce the Tetra-AML toolbox, which automates neural architecture search and hyperparameter optimization via a custom-developed black-box Tensor train Optimization algorithm, TetraOpt. The toolbox also provides model compression through quantization and pruning, augmented by compression using tensor networks. Here, we analyze a unified benchmark for optimizing neural networks in computer vision tasks and show the superior performance of our approach compared to Bayesian optimization on the CIFAR-10 dataset. We also demonstrate the compression of ResNet-18 neural networks, where we use 14.5 times less memory while losing just 3.2% of accuracy. The presented framework is generic, not limited by computer vision problems, supports hardware acceleration (such as with GPUs and TPUs) and can be further extended to quantum hardware and to hybrid quantum machine learning models.

연구 동기 및 목표

• 상업적 응용에서 대규모 딥 네트워크의 증가하는 계산 및 구현 비용을 해결한다.
• 수동적인 신경망 아키텍처 및 하이퍼파rameter 튜닝으로 인한 시간과 자원 부담을 줄인다.
• 정확도 손실이 크지 않은 상태에서 메모리 제약이 있는 장치에 효율적으로 배포 가능한 모델 압축을 가능하게 한다.
• 프레임워크를 확장하여 양자 및 하이브리드 양자-클래식 머신러닝 워크로드를 지원한다.
• 다양한 머신러닝 작업에서 자동화된 종단 간 모델 최적화를 위한 일반적이고 하드웨어 가속 기반의 도구상자를 제공한다.

제안 방법

• 고차원 탐색 공간에서 NAS와 HPO를 수행하기 위해 텐서 트레이스 기반의 맞춤형 블랙박스 최적화 알고리즘인 TetraOpt를 활용한다.
• 가중치 텐서를 저질서 텐서 트레이스로 표현하여 합성곱 레이어를 압축함으로써 매개변수 수와 메모리 프로파일을 감소시키기 위해 텐서 네트워크 분해를 사용한다.
• 텐서 네트워크 압축과 함께 표준 압축 기법인 프루닝과 양자화를 통합하여 상호보완적인 효율성 향상을 이룬다.
• GPU와 TPU를 통한 하드웨어 가속을 지원하며, 향후 양자 머신러닝에서 사용하기 위해 TetraOpt를 양자 최적화 버전으로 확장한다.
• 사용자가 데이터셋과 탐색 공간을 정의하면 시스템이 자동으로 모델을 훈련, 최적화, 압축하는 모듈러한 파이프라인을 설계한다.
• 기존에 훈련된 모델에 대해 훈련 후 압축을 적용하여 정확도를 유지하면서 추론 비용을 최소화한다.

Figure 1: General scheme of Tetra-AML . Both Neural Architecture Search (NAS) and Hyperparameter Optimization (HPO) are performed via TetraOpt (Terra Quantum’s black-box optimizer based on Tensor Trains). Then the model is compressed via tensor network methods, quantization and pruning.

실험 결과

연구 질문

• RQ1 텐서 네트워크 기반 최적화가 컴퓨터 비전 작업의 신경망 아키텍처 및 하이퍼파rameter 탐색에서 베이지안 최적화를 능가할 수 있는가?
• RQ2 텐서 네트워크 압축을 통해 얼마나 큰 모델 크기와 추론 비용을 줄일 수 있으며, 높은 정확도를 유지할 수 있는가?
• RQ3 프루닝, 양자화, 텐서 네트워크 압축의 조합이 딥 네트워크의 메모리 사용량 감소에 얼마나 효과적인가?
• RQ4 TetraOpt 최적화기는 양자 머신러닝 및 하이브리드 양자-클래식 모델 최적화를 지원하도록 확장될 수 있는가?
• RQ5 CIFAR-10에서 압축된 ResNet-18 모델의 압축 비율과 정확도 손실 간의 상호 관계는 어떠한가?

주요 결과

• 동일한 모델 평가 수를 가진 조건에서, CIFAR-10 데이터셋에서 TetraOpt는 베이지안 최적화보다 검증 정확도에서 뛰어난 성능을 보였다.
• Tetra-AML를 사용해 압축된 ResNet-18 모델은 정확도 손실이 3.2%에 머무르는 동안 메모리 사용량을 14.5배 감소시켰다.
• 텐서 네트워크 압축은 큰 가중치 텐서를 저질서 텐서 트레이스로 분해함으로써 메모리와 런타임을 지수적으로 감소시킬 수 있다.
• 프레임워크는 GPU와 TPU를 통한 하드웨어 가속을 지원하여 표준 및 고성능 하드웨어에서 효율적인 훈련과 추론을 가능하게 한다.
• 프루닝, 양자화, 텐서 네트워크 압축의 통합은 개별 기법보다 훨씬 뛰어난 모델 효율성을 달성한다.
• 프레임워크는 양자 머신러닝으로 확장 가능하며, TetraOpt의 양자 최적화 버전은 양자 및 하이브리드 모델의 하이퍼파rameter 및 아키텍처 탐색을 향상시킬 수 있다.

Figure 2: Validation accuracy dependence on the number of neural network models (architectures) runs for TetraOpt , Bayesian, and Random Search algorithms. TetraOpt achieves 93.7% accuracy, while Bayesian optimization and Random Search find architectures only with 93.5% and 92.8% accuracy, respectiv