[論文レビュー] Sufficiency, Separability and Temporal Probabilistic Models

Avi Pfeffer|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用数 18

ひとこと要約

本稿では、時系列確率的モデルにおける十分性と加法的可分性を結びつける形式的枠組みを提示し、条件付き確率が可分構造を示す場合、完全な結合分布の代わりに周辺分布のみを伝搬することで、部分系における正確な推論が可能であることを示している。主な貢献は、弱く相互作用する部分系を正確に特徴づけることにより、効率的な正確予測を可能にすることであるが、観測によって誘発される依存関係は可分性を破壊し、動的システムの監視における複雑性を維持する。

ABSTRACT

Suppose we are given the conditional probability of one variable given some other variables.Normally the full joint distribution over the conditioning variablesis required to determine the probability of the conditioned variable.Under what circumstances are the marginal distributions over the conditioning variables sufficient to determine the probability ofthe conditioned variable?Sufficiency in this sense is equivalent to additive separability ofthe conditional probability distribution.Such separability structure is natural and can be exploited forefficient inference.Separability has a natural generalization to conditional separability.Separability provides a precise notion of weaklyinteracting subsystems in temporal probabilistic models.Given a system that is decomposed into separable subsystems, exactmarginal probabilities over subsystems at future points in time can becomputed by propagating marginal subsystem probabilities, rather thancomplete system joint probabilities.Thus, separability can make exact prediction tractable.However, observations can break separability,so exact monitoring of dynamic systems remains hard.

研究の動機と目的

• 条件変数の周辺分布が、従属変数の確率を決定するのに十分であるような条件を同定すること。
• 条件付き確率における加法的可分性の概念を形式化し、その効率的推論への影響を明らかにすること。
• 可分性を時系列確率的モデルに一般化し、部分系における将来的な周辺確率の正確な計算を可能にすること。
• 動的システムにおける弱く相互作用する部分系を特徴づけ、正確な予測が依然として可能である状況を明らかにすること。

提案手法

• 条件付き確率の加法的可分性に基づいて十分性を定義し、条件付き確率が、条件変数の結合分布に依存しない成分に分解可能であることを示す。
• 時系列モデルにおける可分部分系の形式的定義を導入し、システムの時間的変化が独立した成分に分解可能であることを示す。
• 完全な結合状態の伝搬を避けるために、個々の部分系の周辺分布のみを伝搬することで、将来的な部分系の周辺確率を計算する手法を提案する。
• 可分性構造を活用して、条件変数の完全な結合分布を必要とせずに、部分系における正確な推論を可能にする。
• 可分性が弱い相互作用を示すシステムにおいて、効率的な正確予測を可能にし、計算複雑性を低減できることを示す。
• 外部観測が可分性を破壊する仕組みを分析し、動的システムにおける正確な監視の本質的困難性が再び顕在することを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 条件変数の周辺分布が、従属変数の確率を決定するのに十分であるような条件は何か？
• RQ2 条件付き確率における加法的可分性は、どのように形式的に特徴づけられ、効率的推論にどのように利用可能か？
• RQ3 可分性は、どのように時系列確率的モデルに一般化され、部分系における正確な予測を可能にするか？
• RQ4 動的システムにおける弱く相互作用する部分系は、どのように定義されるか？ また、可分性は、このようなシステムにおける効率的計算をどのように可能にするか？
• RQ5 観測によって誘発される依存関係がなぜ可分性を破壊するのか？ そして、これは動的システムの監視における複雑性にどのように影響するか？

主な発見

• 従属変数の予測にあたって、条件変数の周辺分布が十分であることは、条件付き確率分布の加法的可分性と同値である。
• 条件付き確率が加法的に可分である場合、完全な結合状態計算を避けても、部分系における正確な推論が周辺分布のみを用いて可能になる。
• 可分性構造により、時系列モデルにおいては部分系の周辺確率を時間的に前向きに伝搬するだけで、正確な予測が可能になる。
• 可分部分系は、弱く相互作用するものとして形式的に特徴づけられ、正確性を保ちつつ効率的な計算が可能になる。
• 観測は可分性構造を破壊する可能性があり、これにより完全な結合分布推論の計算複雑性が再び顕在し、正確な監視が困難になる。