[논문 리뷰] Expressive power of tensor-network factorizations for probabilistic modeling, with applications from hidden Markov models to quantum machine learning

Ivan Glasser, Ryan Sweke외 3명|arXiv (Cornell University)|2019. 07. 08.

Quantum many-body systems참고 문헌 11인용 수 24

한 줄 요약

이 논문은 확률적 모델링을 위한 텐서 네트워크 인수분해에 대한 엄밀한 분석을 제공하며, 비음수 텐서 트레인(동일하게 HMM과 동치임), 보른 기계(실수 및 복소수), 그리고 국소적으로 정규화된 상태(LPS)를 비교한다. 복소수 텐서는 표현 능력이 무한히 증가할 수 있음을 보여주며, 자원 요구량 측면에서 상당한 분리가 발생할 수 있음을 증명한다. 또한 LPS는 임의의 데이터와 실제 데이터 모두에서 HMM과 보른 기계보다 뛰어난 성능을 보이며, 확률적 모델링 및 양자 기계학습 응용 분야에서 더 바람직한 선택임을 보여준다.

ABSTRACT

Tensor-network techniques have enjoyed outstanding success in physics, and have recently attracted attention in machine learning, both as a tool for the formulation of new learning algorithms and for enhancing the mathematical understanding of existing methods. Inspired by these developments, and the natural correspondence between tensor networks and probabilistic graphical models, we provide a rigorous analysis of the expressive power of various tensor-network factorizations of discrete multivariate probability distributions. These factorizations include non-negative tensor-trains/MPS, which are in correspondence with hidden Markov models, and Born machines, which are naturally related to local quantum circuits. When used to model probability distributions, they exhibit tractable likelihoods and admit efficient learning algorithms. Interestingly, we prove that there exist probability distributions for which there are unbounded separations between the resource requirements of some of these tensor-network factorizations. Particularly surprising is the fact that using complex instead of real tensors can lead to an arbitrarily large reduction in the number of parameters of the network. Additionally, we introduce locally purified states (LPS), a new factorization inspired by techniques for the simulation of quantum systems, with provably better expressive power than all other representations considered. The ramifications of this result are explored through numerical experiments. Our findings imply that LPS should be considered over hidden Markov models, and furthermore provide guidelines for the design of local quantum circuits for probabilistic modeling.

연구 동기 및 목표

• 이산 다변량 확률 분포를 위한 텐서 네트워크 인수분해의 표현 능력을 철저히 분석하는 것.
• 비음수 텐서 트레인(MPS, HMM과 동치임), 보른 기계(BM, 실수 및 복소수), 그리고 국소적으로 정규화된 상태(LPS)를 새로운 인수분해 방식으로 도입하여 비교하는 것.
• 동일한 분포를 모델링하기 위해 어떤 텐서 네트워크 모델이 다른 모델보다 상당히 적은 파라미터를 요구하는지, 언제이고 왜 그런지를 규명하는 것.
• 확률적 모델링 및 양자 기계학습에서 텐서 네트워크 모델을 선택하는 데 있어 이론적이고 경험적인 지침을 제공하는 것.
• LPS가 기존 모델보다 증명 가능하게 뛰어난 표현 능력을 지니면서도 효율적인 학습 알고리즘을 유지할 수 있음을 확립하는 것.

제안 방법

• 저자들은 비음수 텐서 트레인(MPS), 보른 기계(BM), 그리고 양자 시뮬레이션 기법에서 영감을 얻은 국소적으로 정규화된 상태(LPS)를 사용하여 이산 다변량 확률 분포의 텐서 네트워크 인수분해를 분석한다.
• 특정 확률 분포에 대해 네트워크 랭크 또는 파라미터 수의 차이가 모델 간에 무한정으로 커질 수 있음을 증명한다. 특히, 복소수 텐서는 파라미터 수를 무한정 줄일 수 있음을 보여준다.
• 방법론은 균일한 랜덤 샘플링을 통해 확률 텐서를 구성하고 정규화한 후, 고정 랭크 텐서 네트워크를 사용하여 목표 분포와 근사 분포 간의 KL 발산을 최소화하는 방식이다.
• 경험적 검증을 위해, 다양한 랭크와 파라미터 수를 가진 MPS, BM, LPS를 사용하여 합성 랜덤 텐서와 실제 데이터 세트(예: biofam, Lymphography, SPECT Heart)에서 최대우도 추정을 수행한다.
• 성능 비교는 샘플당 음의 로그우도를 사용하며, HMM( Baum-Welch 알고리즘을 통한), 학습된 그래프를 가진 베이지안 네트워크, 정규화 유무를 고려한 텐서 네트워크 모델을 포함한 다양한 모델을 평가한다.
• 이론적 분석에는 자원 요구량의 무한한 분리 및 복소수 텐서가 실수 텐서보다 표현 능력에서 유리함을 증명하는 증명이 포함되며, 20×20 행렬과 8개의 이진 변수를 가진 텐서에서의 수치 실험으로 뒷받침된다.

실험 결과

연구 질문

• RQ1 표준 모델인 HMM이나 보른 기계보다 텐서 네트워크 인수분해가 확률 분포의 근사에서 상당히 뛰어난 성능을 낼 수 있는가?
• RQ2 어떤 분포에 대해서는 한 텐서 네트워크 모델이 다른 모델보다 파라미터 수가 무한정 적게 필요한가?
• RQ3 실수 텐서 대신 복소수 텐서를 사용하면 동일한 분포를 모델링하기 위해 필요한 파라미터 수를 무한정 줄일 수 있는가?
• RQ4 기존 모델보다 표현 능력에서 뛰어나면서도 효율적인 학습 알고리즘을 유지할 수 있는 새로운 텐서 네트워크 인수분해를 구성할 수 있는가?
• RQ5 이러한 이론적 우월성이 실제 세계 데이터 세트에서 실용적 성능으로 어떻게 번역되는가?

주요 결과

• 일부 확률 분포에 대해서는 텐서 네트워크 모델 간에 필요한 네트워크 랭크 또는 파라미터 수의 차이가 무한정 커질 수 있으며, 이는 어떤 한 모델도 항상 우월하다는 것을 보여주지 못함을 시사한다.
• 실수 텐서 대비 복소수 텐서를 사용할 경우, 특정 분포를 표현하기 위해 필요한 파라미터 수를 무한정 줄일 수 있으며, 이는 상당한 표현 우월성을 의미한다.
• 국소적으로 정규화된 상태(LPS)는 비음수 텐서 트레인(MPS, HMM과 동치임)과 보른 기계보다 증명 가능하게 뛰어난 표현 능력을 지니며, 이는 LPS가 확률적 모델링에 있어 더 바람직한 선택임을 의미한다.
• 수치 실험 결과, 고정 랭크 또는 고정된 실수 파라미터 수를 가진 복소수 보른 기계와 LPS는 실수 모델보다 상당히 높은 근사 정확도를 보이며, 특히 랜덤 텐서와 실제 데이터 세트에서 두드러진다.
• biofam, Lymphography, SPECT Heart와 같은 실제 세계 데이터 세트에서, LPS와 보른 기계 모델은 동일한 랭크를 가진 HMM과 MPS보다 상당히 낮은 음의 로그우도를 기록한다.
• 다른 최적화 알고리즘을 사용함에도 불구하고, HMM과 비음수 텐서 트레인(MPS)은 유사한 성능을 보이며, 이는 이들이 표현 능력에서 이론적으로 동치임을 확인한다.