[논문 리뷰] A Multi-Scale Tensor Network Architecture for Classification and Regression

Justin Reyes, Miles Stoudenmire|arXiv (Cornell University)|2020. 01. 22.

Computational Physics and Python Applications인용 수 12

한 줄 요약

이 논문은 MERA 레이어를 통한 웨이블릿 기반의 군집화를 사용하여 다중 척도 텐서 네트워크 아키텍처를 제안하며, 이는 지도 학습을 향상시키고, 분류 및 회귀를 위한 행렬 곱 상태(MPS)를 훈련하는 방식이다. 주요 기여는 훈련된 MPS 모델을 네트워크를 거꾸로 돌아가며 세밀하게 조정할 수 있어 성능 저하가 최소화되며, 더 높은 해상도의 모델을 직접 무작위 초기화하는 것보다 더 높은 정확도로 효율적으로 초기화할 수 있도록 한다.

ABSTRACT

We present an algorithm for supervised learning using tensor networks, employing a step of preprocessing the data by coarse-graining through a sequence of wavelet transformations. We represent these transformations as a set of tensor network layers identical to those in a multi-scale entanglement renormalization ansatz (MERA) tensor network, and perform supervised learning and regression tasks through a model based on a matrix product state (MPS) tensor network acting on the coarse-grained data. Because the entire model consists of tensor contractions (apart from the initial non-linear feature map), we can adaptively fine-grain the optimized MPS model backwards through the layers with essentially no loss in performance. The MPS itself is trained using an adaptive algorithm based on the density matrix renormalization group (DMRG) algorithm. We test our methods by performing a classification task on audio data and a regression task on temperature time-series data, studying the dependence of training accuracy on the number of coarse-graining layers and showing how fine-graining through the network may be used to initialize models with access to finer-scale features.

연구 동기 및 목표

• 계층적 데이터 표현을 활용하여 일반화 능력을 향상시키는 텐서 네트워크 기반 기계 학습 모델을 개발하는 것.
• 고차원 학습 과제에서 모델 표현력과 파라미터 효율성의 균형을 맞추는 과제를 해결하는 것.
• 성능 저하 없이 훈련된 군집화된 모델을 더 세밀한 해상도로 세밀하게 조정함으로써 적응형 모델 초기화를 가능하게 하는 것.
• 웨이블릿 기반 군집화 깊이가 분류 및 회귀 과제에서 모델 정확도에 미치는 영향을 탐색하는 것.
• 이론적 및 실용적 이점이 있는 가역적이고 확장 가능한 모델 훈련을 위한 텐서 네트워크 변환의 가능성을 입증하는 것.

제안 방법

• 입력 데이터를 MERA 텐서 네트워크 레이어를 통해 근사한 웨이블릿 변환의 시퀀스로 전처리하여 차원을 축소하고 다중 척도 특징을 포착하는 것.
• 모델 가중치를 군집화된 데이터에 작용하는 행렬 곱 상태(MPS) 텐서 네트워크로 표현하여 효율적인 파라미터화와 수축을 가능하게 하는 것.
• 조정된 알고리즘을 사용하여 DMRG 방법 기반의 최적화를 수행하며, 최적화에 대해 교대 최소 제곱법을 적용하는 것.
• 훈련된 MPS 모델을 MERA 레이어를 통해 거꾸로 세밀하게 조정하여 출력 성능을 유지하면서 더 세밀한 특징 공간으로 프로젝션하는 것.
• 세밀하게 조정된 모델을 더 세밀한 해상도에서의 추가 최적화를 위한 초기화로 사용하여 수렴성과 정확도를 향상시키는 것.
• 이 아키텍처를 음성 분류 및 온도 시계열 회귀에 적용하여, 군집화 레이어 수의 변화에 따라 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 군집화 레이어의 수가 분류 및 회귀 모델의 정확도에 어떤 영향을 미치는가?
• RQ2 성능 저하 없이 훈련된 군집화된 모델을 더 세밀한 해상도로 효과적으로 세밀하게 조정할 수 있는가, 이는 더 나은 초기화를 가능하게 하는가?
• RQ3 직접 무작위 초기화하는 것보다 더 세밀한 해상도에서 군집화된 사전 훈련된 모델을 세밀하게 조정하여 초기화함으로써 얻는 성능 향상은 무엇인가?
• RQ4 웨이블릿 근사치를 사용하는 MERA 레이어는 표준 CNN과 비교해 복잡한 계층적 특징 학습과 파라미터 효율성 측면에서 어떻게 다른가?
• RQ5 군집화 레이어 수를 조정할 때 모델 표현력과 계산 효율성 사이의 최적의 균형은 무엇인가?

주요 결과

• N_d4+1 레이어로 더 군집화된 척도에서 훈련한 후 N_d4로 세밀하게 조정한 결과, 직접 N_d4에서 훈련한 것보다 더 높은 정확도를 기록하여 계층적 초기화의 이점이 입증되었다.
• 온도 회귀 과제에서 평균 절대 오차 ⟨ε⟩는 군집화 레이어 수가 증가할수록 감소하여, 더 깊은 웨이블릿 전처리가 모델 성능 향상에 기여함을 나타냈다.
• 훈련된 모델의 세밀화 조정은 출력 성능을 유지하였으며, 더 표현력 있는 모델을 더 세밀한 해상도에서 효율적이고 가역적으로 초기화하는 방법을 제공하였다.
• 동일한 수의 최적화 스위프를 사용하더라도, 무작위 초기화보다 세밀하게 조정된 초기화 방식을 통해 정확도가 뚜렷이 향상됨을 보였다.
• 이 아키텍처는 웨이블릿 기반 MERA 레이어가 데이터 내 다중 척도 상관관계를 효과적으로 포착할 수 있음을 보여주었으며, 데이터의 내재된 상관 길이에 맞게 레이어 수를 조정해야 정확도를 유지할 수 있음을 밝혔다.
• 통제된 군집화 및 세밀화를 통해 모델 복잡성, 효율성, 일반화 능력의 균형을 이루는 확장 가능하고 적응 가능한 프레임워크를 제공한다.