[논문 리뷰] Expressiveness and Learning of Hidden Quantum Markov Models

Sandesh Adhikary, Siddarth Srinivasan외 2명|arXiv (Cornell University)|2019. 12. 02.

Bayesian Modeling and Causal Inference참고 문헌 37인용 수 4

한 줄 요약

이 논문은 은닉 양자 마르코프 모델(HQMMs)이 비음수 확률이 보장되는 관측 가능 연산자 모델(OOMs)의 부분집합임을 입증하며, 스티펠 만에 있는 추적 기반 최적화 방법을 제안하여 HQMMs의 더 빠르고 확장 가능한 학습을 가능하게 한다. 이 방법은 이전 방법보다 빠르고 정확도가 놈으로, 이전에는 학습이 불가능했던 더 큰 HQMMs의 학습을 가능하게 한다.

ABSTRACT

Extending classical probabilistic reasoning using the quantum mechanical view of probability has been of recent interest, particularly in the development of hidden quantum Markov models (HQMMs) to model stochastic processes. However, there has been little progress in characterizing the expressiveness of such models and learning them from data. We tackle these problems by showing that HQMMs are a special subclass of the general class of observable operator models (OOMs) that do not suffer from the \emph{negative probability problem} by design. We also provide a feasible retraction-based learning algorithm for HQMMs using constrained gradient descent on the Stiefel manifold of model parameters. We demonstrate that this approach is faster and scales to larger models than previous learning algorithms.

연구 동기 및 목표

• 은닉 양자 마르코프 모델(HQMMs)의 표현력이 관측 가능 연산자 모델(OOMs) 및 NOOMs와 어떻게 관련되어 있는지 규명하는 것.
• OOMs에 내재된 음수 확률 문제를 해결하기 위해 HQMMs가 설계상 이를 피하는지 입증하는 것.
• 모델 파라미터의 타당성을 보장하는 실용적이고 확장 가능한 HQMMs 학습 알고리즘을 개발하는 것.
• 합성 및 실세계 데이터셋에서 새로운 학습 방법의 실험적 검증을 통해 이전 방법보다 뛰어난 성능을 보이는 것.
• HQMMs가 임의의 HMM을 모델링할 수 있으며, 동일하거나 더 적은 수의 파라미터로 분류 작업에서 HMM을 능가할 수 있음을 보여주는 것.

제안 방법

• HQMMs는 ∑K_i†K_i = I 를 만족하는 크라우스 연산자 {K_i}를 사용하여 정의되며, 이는 유효한 양자 상태를 보장하고 음수 확률을 방지한다.
• 모델 파라미터는 스티펠 만에 위치한 행렬 κ로 표현되며, κ†κ = I 를 만족하여 제약 조건 최적화를 가능하게 한다.
• 스티펠 만에서 제약 조건 최적화를 수행하기 위해 추적 기반 경사하강법을 사용하여 학습 중 파라미터의 타당성이 보장된다.
• HQMMs의 리우빌리언 표현이 유도되었으며, 이는 OOMs와 직접 비교할 수 있는 고유하고 해석 가능한 모델 특성화를 제공한다.
• 이 방법은 제약 조건 최적화를 스티펠 만에서 직접 수행하는 COSM(스티펠 만에서의 제약 최적화)로 구현되었으며, 반복적인 유니터리 보정 없이 가능도를 직접 최적화한다.
• 이 방법은 이전의 GS(경사 탐색) 방법과 비교되었으며, 이는 반복적인 유니터리 회전을 사용했고, 효율성이 떨어지고 수렴이 불량한 경향이 있음이 입증되었다.

실험 결과

연구 질문

• RQ1 HQMMs는 OOMs 및 NOOMs와 공식적으로 관련이 있으며, 이러한 모델을 일반화하는가?
• RQ2 HQMMs 프레임워크는 OOMs의 음수 확률 문제를 설계상 자연스럽게 피하는가?
• RQ3 파라미터 타당성을 유지하면서도 확장 가능하고 효율적인 HQMMs 학습 알고리즘을 개발할 수 있는가?
• RQ4 특히 더 큰 모델에서 HQMMs는 HMM보다 모델링 및 분류 작업에서 성능이 뛰어나나?
• RQ5 이전 방법이 계산적으로 불가능하여 실패했던 실세계 데이터셋에서 HQMMs를 학습할 수 있는가?

주요 결과

• HQMMs는 OOMs의 적절한 부분집합이며 NOOMs를 일반화하며, 초기 상태는 트레이스가 1인 에르미트 양의 준정적 행렬의 스펙트라플렉스로 특성화된다.
• 제안된 COSM 알고리즘은 큰 HQMMs에 대해 300초 이내에 수렴하지만, 이전의 GS 방법은 2000초가 넘도록 수렴하지 못했다.
• (6,6)-HMM에 대해, COSM로 학습한 (6,6,6)-HQMM는 목표 HMM을 성공적으로 모델링하여 이론적 보장을 실무에서 확인했다.
• 스플라이스 데이터셋에서, COSM로 학습한 HQMMs는 EM으로 학습한 HMMs를 능가하여 더 높은 분류 정확도를 달성했으며, 파라미터 수가 더 많았다.
• 크라우스 랭크 w를 증가시킬 때 성능 향상의 여유가 가장 크게 나타나는 경우는 w=1에서 w=2로 넘어갈 때였지만, 더 높은 n에서도 추가적인 향상이 관찰되어, n과 w는 데이터셋에 따라 모두 조정되어야 함을 시사한다.
• COSM 방법은 이전의 GS 방법으로는 계산적으로 불가능했던 최대 100개의 은닉 상태를 가진 HQMMs의 학습을 가능하게 했다.