[論文レビュー] On quantum statistics in data analysis

Duško Pavlović|ArXiv.org|Feb 10, 2008

Bayesian Modeling and Causal Inference参考文献 17被引用数 8

ひとこと要約

この論文は、ユーザの好みにおける本質的な非局所性と文脈依存性のため、データ分析には量子統計的モデルが必要であると主張している。これは、ベクトル空間モデルにおけるベル型不等式の破れによって実証されている。標準的な類似度ベースの好み予測は、量子確率の枠組みでは失敗するため、情報検索およびコラボラティブフィルタリングにおける非古典的統計の根本的必要性が示唆される。

ABSTRACT

Originally, quantum probability theory was developed to analyze statistical phenomena in quantum systems, where classical probability theory does not apply, because the lattice of measurable sets is not necessarily distributive. On the other hand, it is well known that the lattices of concepts, that arise in data analysis, are in general also non-distributive, albeit for completely different reasons. In his recent book, van Rijsbergen argues that many of the logical tools developed for quantum systems are also suitable for applications in information retrieval. I explore the mathematical support for this idea on an abstract vector space model, covering several forms of data analysis (information retrieval, data mining, collaborative filtering, formal concept analysis...), and roughly based on an idea from categorical quantum mechanics. It turns out that quantum (i.e., noncommutative) probability distributions arise already in this rudimentary mathematical framework. We show that a Bell-type inequality must be satisfied by the standard similarity measures, if they are used for preference predictions. The fact that already a very general, abstract version of the vector space model yields simple counterexamples for such inequalities seems to be an indicator of a genuine need for quantum statistics in data analysis.

研究の動機と目的

• 量子確率論が、特に情報検索およびコラボラティブフィルタリングにおいてデータ分析に適用可能かどうかを調査すること。
• 古典的モデルが固定された観測可能な分布を仮定するが、部分的かつ不確実なユーザの好みの問題に対処すること。
• 過去の類似度測定値から古典的統計を用いて将来のユーザの合意を予測できるという仮定に疑問を呈すること。
• 好みのデータにおける非局所的依存関係と文脈依存性が、量子的統計的モデルを必要とすることを示すこと。
• 量子確率とデータ分析で用いられる抽象的ベクトル空間モデルとの間に正式な関係を確立すること。

提案手法

• ヒルベルト空間 ℓ₂ を用いた抽象的ベクトル空間モデルを用いて、データ分析を形式化し、ユーザの好みをベクトルとして表現する。
• 内積による類似度の定義により、P(X=Y) = (1 + s(x,y))/2 という量子確率の枠組みを導入する。
• 古典的予測モデルの整合性をテストするために、ベル型不等式を適用する。
• 反例（例：x₀=(1,0), y₀=(-1,0), x₁=(-0.5,√3/2), y₁=(0.5,√3/2)）を用いて、古典的予測ルールの破れを示す。
• ネットワーク化されたデータ処理における隠れたチャネルおよび非局所的隠れ変数を介した非局所性の概念を導入する。
• ヒルベルト空間（量子）と ℓ∞-ノルム（古典）の間のインターフェースを分析し、意味的距離と文脈依存性をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 古典的類似度測定値は、コラボラティブフィルタリングシステムにおける将来のユーザ合意を信頼性を持って予測できるか？
• RQ2 データ分析における標準的なベクトル空間モデルが、どのような条件下でベル型不等式を破るのか、非古典的行動を示すか？
• RQ3 ユーザの好みにおける不確実性は、古典的確率と比較して、どの程度量子確率でよりよくモデル化できるか？
• RQ4 データネットワークにおける非局所的相互作用と文脈依存性は、どのように量子統計的フレームワークの必要性を生じさせるか？
• RQ5 ノーコピーやもつれといった量子原理は、情報流れとデータ分析におけるセキュリティのモデル化において、どのような役割を果たすか？

主な発見

• 古典的確率から導かれるベル型不等式は、一貫した好み予測のために成立すべきであるが、ベクトル空間モデルでは破れている。
• x₀, y₀, x₁, y₁ を用いた反例は、P(X=Y) が過去の類似度 s(x,y) から古典的スケーリングでは導けないことを示している。
• ベル不等式の破れは、ユーザの好みが古典的統計と整合しない非局所的かつ文脈依存的な依存関係を示している。
• 抽象的ベクトル空間モデルにおいて、明示的な量子系がなくても、量子確率分布が自然に生じる。
• 標準的な仮定である固定された観測可能な好み分布は、進行中の不確実な好み形成のため、誤りであると判明した。
• ℓ₂（ヒルベルト空間）と ℓ∞（バナッハ空間）のインターフェースは、意味的モデリングにおける量子的・古典的確率の二重性を捉えている。