[논문 리뷰] Learning and Inference in Hilbert Space with Quantum Graphical Models

Siddarth Srinivasan, Carlton Downey외 1명|arXiv (Cornell University)|2018. 01. 01.

Bayesian Modeling and Causal Inference인용 수 11

한 줄 요약

이 논문은 양자 그래픽 모델(QGMs)과 힐버트 공간 통합(HSEs)을 통합하여 은닉 양자 마르코프 모델(HQMM)의 힐버트 공간 통합(HSE-HQMM)을 제안한다. QGM의 합과 베이즈 규칙이 HSE에서 커널 합 규칙과 네다라야-워츠턴 회귀로 대응됨을 보이며, 연속적 특징에 대한 비모수적이고 확률론적인 모델링이 가능해지고, 다양한 데이터셋에서 LSTMs 및 PSRNNs와 경쟁 가능한 성능을 달성한다.

ABSTRACT

Quantum Graphical Models (QGMs) generalize classical graphical models by adopting the formalism for reasoning about uncertainty from quantum mechanics. Unlike classical graphical models, QGMs represent uncertainty with density matrices in complex Hilbert spaces. Hilbert space embeddings (HSEs) also generalize Bayesian inference in Hilbert spaces. We investigate the link between QGMs and HSEs and show that the sum rule and Bayes rule for QGMs are equivalent to the kernel sum rule in HSEs and a special case of Nadaraya-Watson kernel regression, respectively. We show that these operations can be kernelized, and use these insights to propose a Hilbert Space Embedding of Hidden Quantum Markov Models (HSE-HQMM) to model dynamics. We present experimental results showing that HSE-HQMMs are competitive with state-of-the-art models like LSTMs and PSRNNs on several datasets, while also providing a nonparametric method for maintaining a probability distribution over continuous-valued features.

연구 동기 및 목표

• 양자 그래픽 모델(QGMs)과 힐버트 공간 통합(HSEs)을 통합하여 불확실성 추론을 향상시키기 위해.
• QGM 추론 규칙과 HSE에서의 커널 기반 연산 간의 등가성을 수립하기 위해.
• 통합된 양자 마르코프 동역학을 통해 연속적 특징에 대한 비모수적이고 확률론적인 모델을 개발하기 위해.
• 제안된 HSE-HQMM 모델이 최신 기술인 LSTMs 및 PSRNNs와 경쟁 가능한 성능을 보임을 입증하기 위해.

제안 방법

• QGM의 합 규칙과 베이즈 규칙이 HSE에서 커널 합 규칙과 네다라야-워츠턴 회귀로 대응됨을 수립한다.
• 힐버트 공간 통합을 사용하여 QGM 추론 규칙의 커널화된 형태를 유도한다.
• HSE-HQMM를 비모수적 모델로 제안하여 커널화된 동역학을 통해 연속적 특징의 확률 분포를 유지한다.
• 커널 함수를 사용하여 힐버트 공간 내에서 밀도 행렬을 표현하고 갱신함으로써, 민첩하고 데이터 기반의 추론을 가능하게 한다.
• 커널 합 규칙을 사용하여 근사 분포를 계산하고, 네다라야-워츠턴 회귀를 통해 임베딩된 공간에서 조건부 추론을 수행한다.
• 결과적으로 도출된 프레임워크를 사용하여 고전적 은닉 마르코프 모델을 일반화하는 방식으로 순차적 동역학을 모델링한다.

실험 결과

연구 질문

• RQ1 양자 그래픽 모델의 추론 규칙은 힐버트 공간 통합의 어떤 연산과 관련이 있는가?
• RQ2 QGM의 합 규칙과 베이즈 규칙은 HSE에서 커널 기반 연산으로 재구성될 수 있는가?
• RQ3 QGM과 HSE를 조합하여 연속적 특징에 대한 비모수적이고 확률론적인 모델을 구축할 수 있는가?
• RQ4 HSE-HQMM의 성능은 LSTMs 및 PSRNNs와 같은 최신 기술 모델과 비교해 어떻게 되는가?
• RQ5 커널화된 HSE-HQMM는 연속적 관측값에 대한 불확실성을 유지하면서 순차적 동역학을 효과적으로 모델링할 수 있는가?

주요 결과

• QGM의 합 규칙은 HSE에서 커널 합 규칙과 수학적으로 동치이며, 이는 힐버트 공간 내에서 비모수적 근사 분포 계산을 가능하게 한다.
• QGM에서의 베이지안 추론은 네다라야-워츠턴 커널 회귀의 특수한 경우에 해당하며, 이는 커널 방법을 통해 조건부 밀도 추정이 가능함을 의미한다.
• 제안된 HSE-HQMM 모델은 연속적 특징에 대한 확률 분포를 비모수적으로 효과적으로 유지한다.
• HSE-HQMM는 다양한 데이터셋에서 경쟁 가능한 성능을 달성하며, LSTMs 및 PSRNNs와 같은 최신 기술 모델을 뛰어넘거나 동등하게 성능을 내고 있다.
• 커널화된 수식은 기저 분포에 대한 모수적 가정 없이도 민첩하고 확장 가능한 추론을 가능하게 한다.