[論文レビュー] Expressiveness and Learning of Hidden Quantum Markov Models

Sandesh Adhikary, Siddarth Srinivasan+2 more|arXiv (Cornell University)|Dec 2, 2019

Bayesian Modeling and Causal Inference参考文献 37被引用数 4

ひとこと要約

本稿では、隠れ量子マルコフモデル（HQMM）が非負の確率を保証する観測可能演算子モデル（OOM）の部分クラスであることを確立し、Stiefel多様体上でのリトラクションに基づく最適化手法を導入することで、HQMMの学習がより高速かつスケーラブルになることを示している。この手法は、従来の手法に比べて速度と精度に優れ、かつては学習が不可能であった大規模なHQMMの学習を可能にした。

ABSTRACT

Extending classical probabilistic reasoning using the quantum mechanical view of probability has been of recent interest, particularly in the development of hidden quantum Markov models (HQMMs) to model stochastic processes. However, there has been little progress in characterizing the expressiveness of such models and learning them from data. We tackle these problems by showing that HQMMs are a special subclass of the general class of observable operator models (OOMs) that do not suffer from the \emph{negative probability problem} by design. We also provide a feasible retraction-based learning algorithm for HQMMs using constrained gradient descent on the Stiefel manifold of model parameters. We demonstrate that this approach is faster and scales to larger models than previous learning algorithms.

研究の動機と目的

• 隠れ量子マルコフモデル（HQMM）の表現力が観測可能演算子モデル（OOM）およびNOOMとどのように関係するかを特定すること。
• OOMに内在する非負の確率問題を解消するために、HQMMが設計上その問題を回避することを示すこと。
• モデルパラメータの妥当性を保証する、実用的でスケーラブルなHQMMの学習アルゴリズムを開発すること。
• 合成データおよび実世界のデータセットを用いた実験的検証を通じて、新しい学習手法が従来の手法を上回ることを示すこと。
• HQMMが任意のHMMをモデル化でき、かつ同等または少ないパラメータ数で分類タスクにおいてHMMを上回ることを示すこと。

提案手法

• HQMMは、Kraus作用素 {K_i} を用いて定式化され、∑K_i†K_i = I を満たすことで、有効な量子状態を保証し、非負の確率を回避する。
• モデルパラメータは、κ†κ = I を満たす行列 κ として表現され、Stiefel多様体上に位置し、制約付き最適化を可能にする。
• パラメータの妥当性を学習中に保証するため、Stiefel多様体上でのリトラクションに基づく勾配降下法を用いて制約付き最適化を実行する。
• HQMMのLiouville表現が導出され、OOMとの直接的な比較が可能な一意的かつ解釈可能なモデルの特徴付けが得られた。
• COSM（Stiefel多様体上での制約付き最適化）として実装された手法は、繰り返しユニタリ補正を必要とせず、多様体上で尤度を直接最適化する。
• 本手法は、繰り返しユニタリ回転を用いる従来のGS（勾配探索）手法と比較され、非効率的で収束性に欠けることが示された。

実験結果

リサーチクエスチョン

• RQ1 HQMMはOOMおよびNOOMと正式に関係づけられ、それらを一般化することができるか？
• RQ2 HQMMフレームワークは、OOMに内在する非負の確率問題を設計上回避するか？
• RQ3 パラメータの妥当性を維持する、スケーラブルで効率的なHQMMの学習アルゴリズムを開発できるか？
• RQ4 HQMMは、特に大規模モデルにおいて、HMMのモデリングおよび分類タスクで優れているか？
• RQ5 従来の手法が計算的に非現実的だった実世界のデータセットにおいて、HQMMは学習可能か？

主な発見

• HQMMはOOMの適切な部分クラスであり、NOOMを一般化する。初期状態はトレースが1のエルミート正定値行列のスペクトラプレックスとして特徴づけられる。
• COSMアルゴリズムは、大規模HQMMにおいて300秒未満で収束するが、従来のGS手法は2000秒経っても収束しなかった。
• (6,6)-HMMに対して、COSMで学習した(6,6,6)-HQMMは、ターゲットHMMを正確にモデル化でき、理論的保証が実際の応用でも成立することを確認した。
• スプライスデータセットにおいて、COSMで学習したHQMMは、EM法で学習したHMMを上回り、より高い分類精度を達成したが、パラメータ数は多めであった。
• Krausランク w を増加させた際の性能向上のマージナルゲインは、w=1からw=2に増加する際が最大であったが、さらに高い n に対してもさらなる向上が観察された。これは、n と w の両方をデータセットごとに最適化する必要があることを示している。
• COSM手法により、100個の隠れ状態を有するHQMMの学習が可能になったが、これは従来のGS手法では計算的に非現実的であった。