[論文レビュー] Learning and Inference in Hilbert Space with Quantum Graphical Models

Siddarth Srinivasan, Carlton Downey+1 more|arXiv (Cornell University)|Jan 1, 2018

Bayesian Modeling and Causal Inference被引用数 11

ひとこと要約

本稿では、量子グラフィカルモデル（QGMs）とヒルベルト空間埋め込み（HSEs）を統合することで、隠れ量子マルコフモデル（HQMM）のヒルベルト空間埋め込み（HSE-HQMM）を提案する。QGMの和則とベイズ則が、それぞれカーネル和則とナダラヤ＝ワトソン回帰に対応することを示しており、連続的特徴の非パrametric的かつ確率的モデリングを可能にし、複数のデータセットにおいてLSTMやPSRNNと同等の性能を達成している。

ABSTRACT

Quantum Graphical Models (QGMs) generalize classical graphical models by adopting the formalism for reasoning about uncertainty from quantum mechanics. Unlike classical graphical models, QGMs represent uncertainty with density matrices in complex Hilbert spaces. Hilbert space embeddings (HSEs) also generalize Bayesian inference in Hilbert spaces. We investigate the link between QGMs and HSEs and show that the sum rule and Bayes rule for QGMs are equivalent to the kernel sum rule in HSEs and a special case of Nadaraya-Watson kernel regression, respectively. We show that these operations can be kernelized, and use these insights to propose a Hilbert Space Embedding of Hidden Quantum Markov Models (HSE-HQMM) to model dynamics. We present experimental results showing that HSE-HQMMs are competitive with state-of-the-art models like LSTMs and PSRNNs on several datasets, while also providing a nonparametric method for maintaining a probability distribution over continuous-valued features.

研究の動機と目的

• 量子グラフィカルモデル（QGMs）とヒルベルト空間埋め込み（HSEs）を統合し、不確実性推論を向上させること。
• QGMの推論則とHSEにおけるカーネルベースの演算の間の同等性を形式化すること。
• 埋め込み量子マルコフ動的過程を用いて、連続値特徴の非パrametric的かつ確率的モデルを構築すること。
• 提案されたHSE-HQMMモデルが、LSTM や PSRNN といった最先端モデルと同等の性能を示すことを実証すること。

提案手法

• QGMの和則とベイズ則が、HSEにおけるカーネル和則とナダラヤ＝ワトソン回帰に対応することを正式に確立する。
• ヒルベルト空間埋め込みを用いて、QGM推論則のカーネル化されたバージョンを導出する。
• HSE-HQMMを、カーネル化された動的過程により連続的特徴の確率分布を保持する非パrametricモデルとして提案する。
• カーネル関数を用いてヒルベルト空間内での密度行列の表現と更新を実施し、柔軟でデータ駆動型の推論を可能にする。
• カーネル和則を用いて周辺分布を計算し、埋め込み空間内での条件付き推論にナダラヤ＝ワトソン回帰を適用する。
• 得られたフレームワークを、古典的隠れマルコフモデルを一般化する形で、逐次的ダイナミクスをモデリングするために適用する。

実験結果

リサーチクエスチョン

• RQ1 量子グラフィカルモデルの推論則は、ヒルベルト空間埋め込みにおけるどの演算に対応するか？
• RQ2 QGMの和則とベイズ則は、HSEにおけるカーネルベースの演算に再定式化可能か？
• RQ3 QGMとHSEを組み合わせることで、連続的特徴の非パrametric的かつ確率的モデルを構築可能か？
• RQ4 得られたHSE-HQMMの性能は、LSTM や PSRNN といった最先端モデルと比較してどうか？
• RQ5 カーネル化されたHSE-HQMMは、連続的観測値における不確実性を保持しつつ、逐次的ダイナミクスを効果的にモデリング可能か？

主な発見

• QGMにおける和則は、HSEにおけるカーネル和則と数学的に同等であり、ヒルベルト空間内での非パrametric的周辺化を可能にする。
• QGMにおけるベイズ推論は、ナダラヤ＝ワトソンカーネル回帰の特別なケースに対応しており、カーネル法による条件付き密度推定を可能にする。
• 提案されたHSE-HQMMモデルは、非パrametricな方法で連続的値特徴の確率分布を的確に維持している。
• HSE-HQMMは複数のデータセットで優れた性能を示しており、LSTM や PSRNN といった最先端モデルと同等またはそれを上回っている。
• カーネル化された定式化により、基礎となる分布にパラメトリックな仮定を必要とせず、柔軟でスケーラブルな推論が可能になった。