[논문 리뷰] Bayesian Generalized Probability Calculus for Density Matrices

Manfred K. Warmuth, Dima Kuzmin|ArXiv.org|2009. 01. 09.

Blind Source Separation Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 추적값이 1인 대칭 정재행렬(밀도 행렬)에 대한 베이지안 일반화 확률 미적분을 제안한다. 이는 전통적인 확률 이론을 양자적 상태로 확장하며, 우메가키의 상대 엔트로피(Umegaki's divergence)를 사용하여 관계, 조건부 및 베이즈 규칙을 정의함으로써 고전적 베이지안 업데이트를 일반화한다. 특히, 행렬이 대각행렬일 경우 표준 사례를 유지한다.

ABSTRACT

One of the main concepts in quantum physics is a density matrix, which is a symmetric positive definite matrix of trace one. Finite probability distributions can be seen as a special case when the density matrix is restricted to be diagonal. We develop a probability calculus based on these more general distributions that includes definitions of joints, conditionals and formulas that relate these, including analogs of the Theorem of Total Probability and various Bayes rules for the calculation of posterior density matrices. The resulting calculus parallels the familiar "conventional" probability calculus and always retains the latter as a special case when all matrices are diagonal. We motivate both the conventional and the generalized Bayes rule with a minimum relative entropy principle, where the Kullbach-Leibler version gives the conventional Bayes rule and Umegaki's quantum relative entropy the new Bayes rule for density matrices. Whereas the conventional Bayesian methods maintain uncertainty about which model has the highest data likelihood, the generalization maintains uncertainty about which unit direction has the largest variance. Surprisingly the bounds also generalize: as in the conventional setting we upper bound the negative log likelihood of the data by the negative log likelihood of the MAP estimator.

연구 동기 및 목표

• 고전적 이산 분포를 초월하여 밀도 행렬로 표현되는 혼합 양자 상태로 확장된 베이지안 확률 이론을 개발하는 것.
• 고전적 조건부 확률을 일반화한 일관된 연관 및 조건부 밀도 행렬의 개념을 정의하는 것.
• 우메가키의 양자 상대 엔트로피를 기반으로 한 양자 베이즈 규칙을 유도하여 고전적 베이즈 규칙의 쿨백-라이블러 발산 형태를 일반화하는 것.
• 행렬 공간에서의 연속적 베이지안 업데이트를 위한 미분방정식 프레임워크를 수립하는 것. 이는 고전적 스코어 기반 업데이트와 유사하다.
• 밀도 행렬이 대각행렬일 경우 일반화된 미적분이 고전적 확률 이론을 특수한 경우로 유지하는지 확인하는 것.

제안 방법

• 기본 사건이 랭크-1 프로젝션(dyads)인 일반화된 확률 미적분을 제안하며, 밀도 행렬 $ \mathbf{W} $에 대해 일반화된 확률은 $ \mathbf{u}^T \mathbf{W} \mathbf{u} $ 로 주어진다.
• 행렬 연산을 통해 연관 및 조건부 밀도 행렬을 정의하며, 연관 $ \mathbf{D}(\mathbb{A}, \mathbb{B}) $ 와 조건부 $ \mathbf{D}(\mathbb{A}|\mathbb{B}) $ 사이의 관계는 $ \mathbf{D}(\mathbb{A}|\mathbb{B}) \odot (\mathbf{I}_\mathbb{A} \otimes \mathbf{D}(\mathbb{B})) $ 로 표현된다.
• 우메가키의 양자 상대 엔트로피를 발산 측정치로 사용하여 일반화된 베이즈 규칙을 도출하며, 이는 고전적 경우의 쿨백-라이블러 발산을 대체한다.
• 연속적 베이지안 업데이트를 위한 미분방정식을 도입한다: $ \frac{\partial \mathbf{log} \mathbf{D}(\mathbb{M}|t)}{\partial t} = \mathbf{log} \mathbf{D}(\bm{y}|\mathbb{M}) - \mathrm{tr}(\mathbf{D}(\mathbb{M}|t) \mathbf{log} \mathbf{D}(\bm{y}|\mathbb{M})) $, 해는 행렬 지수와 로그 연산을 포함한다.
• 후행 업데이트를 표현하기 위해 $ \odot $ (하담아르드) 곱과 행렬 로그/지수 연산을 사용하며, 추적 정규화를 보장한다.
• 우메가키의 발산이 양자 업데이트 규칙을 도출하는 최소 상대 엔트로피 원리에 기반하여 일반화된 베이즈 규칙의 타당성을 정당화한다.

실험 결과

연구 질문

• RQ1 어떻게 고전적 확률 분포에서 밀도 행렬로의 베이지안 추론을 일반화할 수 있는가? 이는 혼합 양자 상태를 나타낸다.
• RQ2 밀도 행렬 공간에서 조건부 확률과 연관 분포의 적절한 유사체는 무엇인가?
• RQ3 우메가키의 양자 상대 엔트로피를 기반으로 한 일반화된 베이즈 규칙은 고전적 쿨백-라이블러 버전과 어떻게 다를까?
• RQ4 밀도 행렬 공간에서 연속적 베이지안 업데이트를 미분방정식으로 서술할 수 있으며, 그 해는 무엇인가?
• RQ5 밀도 행렬이 대각행렬일 경우 일반화된 미적분이 고전적 베이지안 프레임워크를 특수한 경우로 유지하는가?

주요 결과

• 일반화된 확률 미적분은 전체 확률의 정리 및 다양한 베이즈 규칙의 유사체를 포함하며, 모든 행렬이 대각행렬일 경우 고전적 사례로 복원된다.
• 일반화된 베이즈 규칙는 우메가키의 양자 상대 엔트로피를 최소화하는 원리에서 도출되며, 고전적 쿨백-라이블러 최소화의 양자 유사체를 제공한다.
• 행렬 공간에서의 베이지안 업데이트를 위한 미분방정식은 행렬 로그와 지수를 포함하는 닫힌 형태의 해를 유도한다: $ \mathbf{D}(\mathbb{M}|t) = \frac{\exp(\log \mathbf{D}(\mathbb{M}|0) + t \log \mathbf{D}(\bm{y}|\mathbb{M}))}{\mathrm{tr}(\cdots)} $.
• 업데이트 규칙은 유니타리가 아니며 고유벡터 체계를 유지하지 않으며, 이는 이제 불확실성이 모델이 아닌 최대 분산 방향에 대해 발생함을 반영한다.
• 데이터의 음의 로그우도는 최대사후추정기(MAP) 추정기의 음의 로그우도에 의해 상한으로 제한되며, 이는 고전적 결과를 일반화한다.
• 고유값이 고정되어 있어도, 단위행렬 공액을 통해 순수 상태에서 다른 순수 상태로의 비퇴화 경로를 허용하며, 이는 고전적 확률보다 더 풍부한 기하학적 구조를 드러낸다.