[論文レビュー] Tensor Networks Meet Neural Networks: A Survey and Future Perspectives

Maolin Wang, Pan Yu+5 more|arXiv (Cornell University)|Jan 22, 2023

Computational Physics and Python Applications被引用数 14

ひとこと要約

この調査は、テンソルネットワーク（TNs）とニューラルネットワーク（NNs）をテンソル状ニューラルネットワーク（TNNs）に統合する方法をレビューし、ネットワーク圧縮、情報融合、量子回路シミュレーションに焦点を当て、ツールと今後の方向性をまとめる。

ABSTRACT

Tensor networks (TNs) and neural networks (NNs) are two fundamental data modeling approaches. TNs were introduced to solve the curse of dimensionality in large-scale tensors by converting an exponential number of dimensions to polynomial complexity. As a result, they have attracted significant attention in the fields of quantum physics and machine learning. Meanwhile, NNs have displayed exceptional performance in various applications, e.g., computer vision, natural language processing, and robotics research. Interestingly, although these two types of networks originate from different observations, they are inherently linked through the typical multilinearity structure underlying both TNs and NNs, thereby motivating a significant number of developments regarding combinations of TNs and NNs. In this paper, we refer to these combinations as tensorial neural networks~(TNNs) and present an introduction to TNNs from both data processing and model architecture perspectives. From the data perspective, we explore the capabilities of TNNs in multi-source fusion, multimodal pooling, data compression, multi-task training, and quantum data processing. From the model perspective, we examine TNNs' integration with various architectures, including Convolutional Neural Networks, Recurrent Neural Networks, Graph Neural Networks, Transformers, Large Language Models, and Quantum Neural Networks. Furthermore, this survey also explores methods for improving TNNs, examines flexible toolboxes for implementing TNNs, and documents TNN development while highlighting potential future directions. To the best of our knowledge, this is the first comprehensive survey that bridges the connections among NNs and TNs. We provide a curated list of TNNs at https://github.com/tnbar/awesome-tensorial-neural-networks.

研究の動機と目的

• 次元と効率の課題を克服するために、TN と NN の統合を動機づける。
• テンソル状ニューラルネットワーク（TNNs）を、TNs、NNs、量子回路をつなぐ統一的なフレームワークとして紹介。
• 3つの核心的な応用を調査する: ネットワーク圧縮、情報融合、量子回路シミュレーション。
• トレーニング戦略、実装技術、および利用可能なツールボックスに関する指針を提供。

提案手法

• テンソルネットワークの基本と一般的なフォーマット（CP、Tucker、TT/MPS、TR、HT、PEPS）を図式表現とともに説明。
• 重みテンソルを分解して NN アーキテクチャを圧縮することで、TNs がコンパクトな NN アーキテクチャを実現する方法を示す（ネットワーク圧縮）。
• テンソル状融合層やマルチモーダルプーリングを用いた情報融合をデモンストレーションし、高次の相互作用を捉える。
• TNを量子回路のシミュレータとして用い、古典NNと量子回路を橋渡しする方法を論じる（テンソル状 NN の概念）。
• ランク選択やハードウェア加速を含む訓練と実装上の考慮事項を概説し、利用可能なツールボックスを総括する。

実験結果

リサーチクエスチョン

• RQ1 TN がニューラルネットワークを圧縮しつつ性能を維持する主な方法は何か？
• RQ2 テンソルネットワークはマルチモーダルデータの効果的な情報融合をニューラルアーキテクチャで促進できるか？
• RQ3 TN は量子回路をシミュレートまたは橋渡しして、テンソル状ニューラルネットワークを可能にするにはどういう方法があるか？
• RQ4 TNN の構築とデプロイのための実践的なトレーニング戦略とツールチェーンは何か？
• RQ5 圧縮、融合、量子シミュレーションの各分野で TNN 開発の将来性の方向性は何か？

主な発見

• TNNs は CNNs、RNNs、Transformers、GNNs、RBMs でパラメータ数と計算コストを低減するコンパクトな表現を提供する。
• テンソルベースの融合ユニット（例: テンソル融合層、MUTAN）は、パラメータ効率で高次のマルチモーダル相互作用を捉える。
• テンソルネットワークは量子回路のシミュレータとして有効で、スケーラブルな量子ハードウェアが利用可能になる前に量子ニューラルネットワークを探索することを可能にする。
• 実用的なトレーニング戦略（例: ランク選択、安定した訓練、混合精度）と、TNN の開発を支援するいくつかのハードウェア加速とツールボックスのオプションが存在する。
• この調査は幅広い TNN の派生と応用を記録し、将来の研究を導くための、厳選されたテンソル状ニューラルネットワーク資源のリポジトリを提供する。