[논문 리뷰] Quantum-Inspired Tensor Neural Networks for Partial Differential Equations

Raj Patel, Chia-Wei Hsing외 12명|arXiv (Cornell University)|2022. 08. 03.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 높은 차원의 포물형 편미분방정식(PDEs)을 표준 밀집신경망(DNNs)보다 더 효율적으로 해결하기 위해 텐서 네트워크(TN) 아키텍처—특히 행렬 곱 연산자(MPOs)—를 활용하는 양자 영감을 받은 텐서 신경망(TNNs)을 제안한다. 가중치 행렬을 저랭크 텐서 분해로 표현함으로써 TNNs는 파arameter 수를 최대 66% 줄이고도 DNNs와 유사한 정확도를 달성하며, 학습 속도도 최대 32.8% 빠르게 한다. 이는 블랙-숄즈-바렌블라트 및 하밀턴-자코비-벨리만 PDE에서 입증되었다.

ABSTRACT

Partial Differential Equations (PDEs) are used to model a variety of dynamical systems in science and engineering. Recent advances in deep learning have enabled us to solve them in a higher dimension by addressing the curse of dimensionality in new ways. However, deep learning methods are constrained by training time and memory. To tackle these shortcomings, we implement Tensor Neural Networks (TNN), a quantum-inspired neural network architecture that leverages Tensor Network ideas to improve upon deep learning approaches. We demonstrate that TNN provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. We benchmark TNN by applying them to solve parabolic PDEs, specifically the Black-Scholes-Barenblatt equation, widely used in financial pricing theory, empirically showing the advantages of TNN over DNN. Further examples, such as the Hamilton-Jacobi-Bellman equation, are also discussed.

연구 동기 및 목표

• 고차원 PDE를 해결하기 위한 딥러닝 방법의 높은 메모리 소비와 학습 비용 문제를 해결하기 위해.
• 표준 밀집신경망(DNNs)의 한계—파arameter 비효율성과 느린 수렴성—을 극복하기 위해.
• 양자 다체 물리학에서 영감을 받은 텐서 신경망(TNNs)이 파arameter 효율성과 학습 속도 측면에서 DNNs를 능가할 수 있음을 입증하기 위해.
• 동일한 파arameter 수를 가진 DNN의 전체 가족과 비교함으로써 TNNs의 이점을 엄밀히 정량화하기 위해.
• 블랙-숄즈-바렌블라트 및 하밀턴-자코비-벨리만 방정식을 포함한 벤치마크 PDE에서 접근법을 검증하기 위해.

제안 방법

• 표준 DNNs를 밀집 가중치 행렬을 행렬 곱 연산자(MPOs)로 대체함으로써 텐서 신경망(TNNs)으로 변환하는 방법을 사용한다. MPOs는 저랭크 텐서의 시퀀스로 가중치 행렬을 표현하여 훈련 가능한 파arameter 수를 크게 줄이면서도 표현 능력을 유지한다.
• TNN 아키텍처는 표준 역전파 알고리즘을 사용하여 학습되며, MPO의 구조 덕분에 효율적인 기울기 계산과 메모리 절약이 가능하다.
• 저자들은 TNNs를 단일 DNN과 비교하는 것이 아니라, 동일한 총 파arameter 수를 가진 모든 가능한 이중층 DNN들과 비교하여 공정한 성능 기준을 확립한다.
• 이 방법은 블랙-숄즈-바렌블라트 PDE에서 검증되었으며, 보조 실험에서는 하밀턴-자코비-벨리만 방정식으로도 확장되었다.
• 다양한 결합 차원(χ)과 네트워크 폭을 통해 수렴 속도와 파arameter 수를 평가하여 일반화성과 확장성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 텐서 네트워크 기반 신경망(TNNs)은 유사한 정확도를 달성하면서도 훨씬 적은 파arameter를 사용할 수 있는가?
• RQ2 동일한 파arameter 수를 가진 DNNs와 비교할 때 TNN 아키텍처는 더 빠른 수렴 속도를 보일 수 있는가?
• RQ3 동일한 파arameter 수 제약 하에 TNNs는 최고 성능을 내는 DNN 아키텍처를 얼마나 뛰어넘을 수 있는가?
• RQ4 MPO 표현에서의 결합 차원(χ)은 TNNs의 성능와 수렴 특성에 어떤 영향을 미치는가?
• RQ5 TNN 프레임워크는 블랙-숄즈-바렌블라트 및 하밀턴-자코비-벨리만 방정식과 같은 실제 응용 PDE에 효과적으로 적용될 수 있는가?

주요 결과

• TNNs는 최고 성능를 보이는 DNN의 1057개 파arameter 대비 353개 파arameter만을 사용하여 동일한 해의 정확도를 달성했으며, 이는 파arameter 수를 66% 감소시킨 것이다.
• 결합 차원 χ=4인 TNN(16) 아키텍처의 경우, 동일한 파arameter 수를 가진 최고 성능 DNN보다 학습 수렴 속도가 26.9% 더 빠르게 나타났다.
• 최대 32.8%의 학습 속도 향상은 χ=4인 TNN(144)에서 관찰되었으며, 이는 동일한 파arameter 수를 가진 모든 DNN을 능가했다.
• 결합 차원이 증가함에 따라 TNNs와 DNNs 간의 성능 격차가 줄어들었으며, 이는 χ가 충분히 클 경우 MPOs가 밀집 행렬을 잘 근사할 수 있음을 확인했다.
• 다양한 설정에서 TNNs는 동일한 파arameter 수를 가진 모든 DNNs를 일관되게 뛰어넘었으며, 이는 효율성과 수렴 속도 측면에서의 열등성을 입증했다.
• 이 방법은 블랙-숄즈-바렌블라트 사례를 넘어서 하밀턴-자코비-벨리만 방정식으로도 성공적으로 확장되었으며, 더 넓은 적용 가능성을 보여주었다.