[論文レビュー] Tetra-AML: Automatic Machine Learning via Tensor Networks

A. Naumov, Ar. Melnikov+6 more|arXiv (Cornell University)|Mar 28, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

Tetra-AML は、テンソルネットワークと新規のブラックボックス最適化手法 TetraOpt を活用した自動機械学習フレームワークを提示する。このフレームワークは、ニューラルアーキテクチャ探索（NAS）とハイパーパramータ最適化（HPO）を、高い効率で実行可能である。CIFAR-10 において、3.2% の精度損失で ResNet-18 のメモリ使用量を 14.5 倍まで削減する、組み合わせ的量子化・プルーニング・テンソルネットワーク圧縮を実現する。

ABSTRACT

Neural networks have revolutionized many aspects of society but in the era of huge models with billions of parameters, optimizing and deploying them for commercial applications can require significant computational and financial resources. To address these challenges, we introduce the Tetra-AML toolbox, which automates neural architecture search and hyperparameter optimization via a custom-developed black-box Tensor train Optimization algorithm, TetraOpt. The toolbox also provides model compression through quantization and pruning, augmented by compression using tensor networks. Here, we analyze a unified benchmark for optimizing neural networks in computer vision tasks and show the superior performance of our approach compared to Bayesian optimization on the CIFAR-10 dataset. We also demonstrate the compression of ResNet-18 neural networks, where we use 14.5 times less memory while losing just 3.2% of accuracy. The presented framework is generic, not limited by computer vision problems, supports hardware acceleration (such as with GPUs and TPUs) and can be further extended to quantum hardware and to hybrid quantum machine learning models.

研究の動機と目的

• 商業的応用における大規模なディープニューラルネットワークの計算コストとデプロイコストの増大に対処する。
• 手動によるニューラルアーキテクチャおよびハイパーパramータチューニングにかかる時間とリソースの負担を軽減する。
• 顕著な精度損失を伴わずに、メモリ制限のあるデバイスへのデプロイに適した効率的なモデル圧縮を実現する。
• フレームワークを拡張し、量子およびハイブリッド量子・古典的機械学習ワークロードをサポートする。
• 多様な機械学習タスクにわたる、自動的かつエンドツーエンドのモデル最適化を実現する汎用的でハードウェア加速可能なツールボックスを提供する。

提案手法

• テンソルトレインに基づく独自のブラックボックス最適化アルゴリズム、TetraOpt を採用し、高次元探索空間における NAS と HPO を実行する。
• テンソルネットワーク分解を活用し、畳み込み層の重みテンソルを低ランクのテンソルトレインとして表現することで、パラメータ数とメモリフットプリントを削減する。
• テンソルネットワーク圧縮に加え、標準的な圧縮技術（プルーニングと量子化）を統合し、相乗効果による効率性向上を実現する。
• GPU や TPU を介したハードウェア加速をサポートするとともに、将来の量子機械学習用途に向け、TetraOpt を量子最適化版に拡張する。
• ユーザーがデータセットと探索空間を定義するだけで、システムが自動的にモデルの学習・最適化・圧縮を実行するモジュール式パイプラインを設計する。
• 学習後圧縮を適用し、精度を保持しつつ推論コストを最小限に抑える。

Figure 1: General scheme of Tetra-AML . Both Neural Architecture Search (NAS) and Hyperparameter Optimization (HPO) are performed via TetraOpt (Terra Quantum’s black-box optimizer based on Tensor Trains). Then the model is compressed via tensor network methods, quantization and pruning.

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークベースの最適化は、コンピュータビジョンタスクにおけるニューラルアーキテクチャおよびハイパーパramータ探索において、ベイズ最適化を上回ることができるか？
• RQ2 テンソルネットワーク圧縮は、高い精度を維持しつつ、どの程度モデルサイズと推論コストを削減できるか？
• RQ3 プルーニング、量子化、テンソルネットワーク圧縮の組み合わせは、ディープニューラルネットワークのメモリ使用量をどの程度削減できるか？
• RQ4 TetraOpt 最適化手法は、量子機械学習およびハイブリッド量子・古典的モデル最適化をサポートするように拡張可能か？
• RQ5 CIFAR-10 における圧縮済み ResNet-18 モデルにおいて、圧縮比と精度損失のトレードオフはどの程度か？

主な発見

• 同じ数のモデル評価回数を前提とした場合、TetraOpt は CIFAR-10 データセットにおいて、バリデーション精度の面でベイズ最適化を上回る。
• Tetra-AML を用いて圧縮された ResNet-18 モデルは、3.2% の精度損失を伴いながらも、14.5 倍のメモリ使用量削減を達成している。
• テンソルネットワーク圧縮により、大規模な重みテンソルを低ランクのテンソルトレインに分解することで、メモリと実行時間の指数的削減が可能になる。
• フレームワークは GPU や TPU を介したハードウェア加速をサポートしており、標準的および高性能なハードウェア上でも、効率的な学習と推論を実現している。
• プルーニング、量子化、テンソルネットワーク圧縮の統合は、個別の技術に比べて顕著なモデル効率向上をもたらす。
• フレームワークは量子機械学習へも拡張可能であり、TetraOpt の量子最適化版は、量子およびハイブリッドモデルのハイパーパramータとアーキテクチャ探索を改善できる。

Figure 2: Validation accuracy dependence on the number of neural network models (architectures) runs for TetraOpt , Bayesian, and Random Search algorithms. TetraOpt achieves 93.7% accuracy, while Bayesian optimization and Random Search find architectures only with 93.5% and 92.8% accuracy, respectiv