[論文レビュー] Quantum-Inspired Tensor Neural Networks for Partial Differential Equations

Raj Patel, Chia-Wei Hsing+12 more|arXiv (Cornell University)|Aug 3, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、特に行列積演算子（MPO）を用いたテンソルネットワーク（TN）アーキテクチャを活用することで、従来のDenseニューラルネットワーク（DNN）よりも高次元の放物型偏微分方程式（PDE）をより効率的に解ける、量子にインspiredされたテンソルニューラルネットワーク（TNN）を提案する。重み行列を低ランクテンソル分解により表現することで、TNNはDNNと同等の精度を達成しながら、最大66%少ないパラメータで実現し、学習速度も最大32.8%向上する。ブラック・ショールズ・バラーブレットおよびハミルトニアン・ジョルダン・ベルマンPDEを用いた実験でその有効性が示された。

ABSTRACT

Partial Differential Equations (PDEs) are used to model a variety of dynamical systems in science and engineering. Recent advances in deep learning have enabled us to solve them in a higher dimension by addressing the curse of dimensionality in new ways. However, deep learning methods are constrained by training time and memory. To tackle these shortcomings, we implement Tensor Neural Networks (TNN), a quantum-inspired neural network architecture that leverages Tensor Network ideas to improve upon deep learning approaches. We demonstrate that TNN provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. We benchmark TNN by applying them to solve parabolic PDEs, specifically the Black-Scholes-Barenblatt equation, widely used in financial pricing theory, empirically showing the advantages of TNN over DNN. Further examples, such as the Hamilton-Jacobi-Bellman equation, are also discussed.

研究の動機と目的

• 高次元PDEを解くためのディープラーニング手法の高いメモリ使用量と学習コストを低減すること。
• 標準的なDenseニューラルネットワーク（DNN）の限界、特にパラメータの非効率性と収束の遅さを克服すること。
• 量子多体物理学にインspiredされたテンソルニューラルネットワーク（TNN）が、パラメータ効率性と学習速度の両面でDNNを上回ることを示すこと。
• 同じパラメータ数を有するDNNの「すべての可能性」を比較することで、TNNの優位性を厳密に定量化すること。
• ブラック・ショールズ・バラーブレットおよびハミルトニアン・ジョルダン・ベルマン方程式を含むベンチマークPDE上で、手法の有効性を検証すること。

提案手法

• 標準的なDNNの重み行列を、テンソルネットワーク分解の一種である行列積演算子（MPO）に置き換えることで、DNNをテンソルニューラルネットワーク（TNN）に変換する。
• MPOは重み行列を低ランクテンソルの系列として表現し、トレーニング可能なパラメータ数を著しく削減しながらも、表現力は維持する。
• TNNアーキテクチャは標準的な誤差逆伝播法で学習され、MPO構造により勾配計算が効率的かつメモリ効率が向上する。
• 著者らはTNNを単一のDNNと比較するのでなく、同じ総パラメータ数を有するすべての2層DNNと比較することで、公平な性能ベンチマークを実現する。
• 手法はブラック・ショールズ・バラーブレットPDEで検証され、補足実験ではハミルトニアン・ジョルダン・ベルマン方程式に対しても検証された。
• 複数の結合次元（χ）とネットワーク幅を用いて、収束速度とパラメータ数を評価し、汎化性とスケーラビリティを分析した。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークに基づくニューラルネットワーク（TNN）は、DNNと同等の精度を達成しながら、顕著に少ないパラメータ数で実現可能か？
• RQ2 TNNアーキテクチャは、同等のパラメータ数を有するDNNと比較して、より高速に収束するか？
• RQ3 TNNは、同じパラメータ数に制約された場合、最良のDNNアーキテクチャをどの程度上回るか？
• RQ4 MPO表現における結合次元（χ）の増加が、TNNの性能および収束特性に与える影響は何か？
• RQ5 TNNフレームワークは、ブラック・ショールズ・バラーブレットおよびハミルトニアン・ジョルダン・ベルマン方程式のような実世界のPDEに効果的に適用可能か？

主な発見

• TNNは、DNNと同等の解の精度を達成しながら、最良の対応DNN（1057パラメータ）に対して353パラメータのみを必要とし、66%のパラメータ削減を達成した。
• 結合次元χ=4のTNN(16)アーキテクチャでは、同じパラメータ数を有する最良のDNNと比較して、学習が26.9%高速に収束した。
• 最大32.8%の学習速度向上は、χ=4のTNN(144)で観測され、同じパラメータ数を有するすべてのDNNを上回った。
• 結合次元が増加するにつれて、TNNとDNNの性能差は縮小し、χが十分に大きい場合にはMPOが密行列を適切に近似できることを確認した。
• 複数の構成において、同等のパラメータ数を有するすべてのDNNをTNNが上回り、効率性と収束速度の両面で優位性が裏付けられた。
• 手法はハミルトニアン・ジョルダン・ベルマン方程式に対しても成功裏に拡張され、ブラック・ショールズ・バラーブレットに限らない広範な適用可能性が示された。