[논문 리뷰] Tensor Networks Meet Neural Networks: A Survey and Future Perspectives

Maolin Wang, Pan Yu외 5명|arXiv (Cornell University)|2023. 01. 22.

Computational Physics and Python Applications인용 수 14

한 줄 요약

본 고찰은 텐서 네트워크(TN)와 신경망(NN)을 텐서형 신경망(TNN)으로 통합하는 방법을 검토하며, 네트워크 압축, 정보 융합, 양자 회로 시뮬레이션에 초점을 맞추고 도구 및 향후 방향을 다룬다.

ABSTRACT

Tensor networks (TNs) and neural networks (NNs) are two fundamental data modeling approaches. TNs were introduced to solve the curse of dimensionality in large-scale tensors by converting an exponential number of dimensions to polynomial complexity. As a result, they have attracted significant attention in the fields of quantum physics and machine learning. Meanwhile, NNs have displayed exceptional performance in various applications, e.g., computer vision, natural language processing, and robotics research. Interestingly, although these two types of networks originate from different observations, they are inherently linked through the typical multilinearity structure underlying both TNs and NNs, thereby motivating a significant number of developments regarding combinations of TNs and NNs. In this paper, we refer to these combinations as tensorial neural networks~(TNNs) and present an introduction to TNNs from both data processing and model architecture perspectives. From the data perspective, we explore the capabilities of TNNs in multi-source fusion, multimodal pooling, data compression, multi-task training, and quantum data processing. From the model perspective, we examine TNNs' integration with various architectures, including Convolutional Neural Networks, Recurrent Neural Networks, Graph Neural Networks, Transformers, Large Language Models, and Quantum Neural Networks. Furthermore, this survey also explores methods for improving TNNs, examines flexible toolboxes for implementing TNNs, and documents TNN development while highlighting potential future directions. To the best of our knowledge, this is the first comprehensive survey that bridges the connections among NNs and TNs. We provide a curated list of TNNs at https://github.com/tnbar/awesome-tensorial-neural-networks.

연구 동기 및 목표

• 차원성 및 효율성 문제를 극복하기 위해 TN과 NN의 통합을 촉진한다.
• 텐서형 신경망(TNN)을 텐서 네트워크(TN), 신경망(NN), 양자 회로를 잇는 통합 프레임워크로 소개한다.
• 세 가지 핵심 응용 분야인 네트워크 압축, 정보 융합, 양자 회로 시뮬레이션을 조사한다.
• 학습 전략, 구현 기법 및 이용 가능한 도구 상자에 대한 지침을 제공한다.

제안 방법

• 다이어그램 표현을 포함하여 텐서 네트워크의 기초와 일반 형식(CP, Tucker, TT/MPS, TR, HT, PEPS)을 설명한다.
• 가중치 텐서를 분해하여 네트워크 압축을 통해 TN이 컴팩트한 NN 아키텍처를 가능하게 하는 방법을 보인다.
• 고차 상호작용을 포착하기 위한 텐서형 융합 계층 및 다중 모달 풀링을 통한 정보 융합을 시연한다.
• 고전적 NN과 양자 회로를 연결하는 텐서형 NN 개념으로서 TN을 양자 회로 시뮬레이터로 사용하는 것을 논의한다.
• 랭크 선택 및 하드웨어 가속을 포함한 학습 및 구현 고려 사항을 개략하고, 이용 가능한 도구 상자를 요약한다.

실험 결과

연구 질문

• RQ1 TN이 성능을 유지하면서 신경망을 압축할 수 있는 주요 방법은 무엇인가?
• RQ2 신경 아키텍처에서 다중 모달 데이터에 대한 효과적인 정보 융합을 위해 텐서 네트워크가 어떻게 도움이 될 수 있는가?
• RQ3 텐서 네트워크가 양자 회로를 시뮬레이션하거나 양자 회로와 연결되어 텐서형 신경망을 가능하게 만드는 방법은 무엇인가?
• RQ4 TNN을 구축하고 배포하기 위한 실용적인 학습 전략과 도구 체인은 무엇인가?
• RQ5 압축, 융합, 양자 시뮬레이션 전반에 걸친 TNN 개발의 유망한 향후 방향은 무엇인가?

주요 결과

• TNN은 CNN, RNN, Transformer, GNN, RBM에서 매개변수 수와 계산 비용을 감소시키는 컴팩트한 표현을 제공한다.
• 텐서 기반 융합 유닛(예: 텐서 융합 계층, MUTAN)은 매개변수 효율성과 함께 고차 다중 모달 상호작용을 포착한다.
• 텐서 네트워크는 효과적인 양자 회로 시뮬레이터로 작용하여 확장 가능한 양자 하드웨어가 이용 가능하기 전에 양자 신경망을 탐구할 수 있게 한다.
• 랭크 선택, 안정적인 학습, 혼합 정밀도 등과 같은 실용적인 학습 전략과 TNN 개발을 지원하는 하드웨어 가속 및 도구 상자 옵션이 다수 존재한다.
• 본 고찰은 광범위한 TNN 변형과 응용을 문서화하고 미래 연구를 이끄는 텐서형 신경망 자원 모음 저장소를 제공한다.