[論文レビュー] The Stochastic complexity of spin models: How simple are simple spin models?

Alberto Beretta, Claudia Battistin+3 more|arXiv (Cornell University)|Feb 24, 2017

Bayesian Modeling and Causal Inference被引用数 3

ひとこと要約

本稿は、情報理論的原則を用いて、任意の次数の相互作用を有するスピン模型の確率的複雑性を調査する。その結果、単純さは低次の相互作用から生じるのではなく、重複しない変数群に局在化した統計的依存性から生じることを示している。これにより、局在化した依存性を持つモデルは単純であるのに対し、完全に接続された2体相互作用モデルは、広範な相互作用構造を持つため、極めて複雑であることが明らかになった。

ABSTRACT

Simple models, in information theoretic terms, are those with a small stochastic complexity. We study the stochastic complexity of spin models with interactions of arbitrary order. Invariance with respect to bijections within the space of operators allows us to classify models in complexity classes. This invariance also shows that simplicity is not related to the order of the interactions, but rather to their mutual arrangement. Models where statistical dependencies are localized on non-overlapping groups of few variables (and that afford predictions on independencies that are easy to falsify) are simple. On the contrary, fully connected pairwise models, which are often used in statistical learning, are highly complex because of their extended set of interactions.

研究の動機と目的

• 任意の次数の相互作用を有するスピン模型の確率的複雑性を理解すること。
• 演算子空間における一対一写像の不変性に基づいて、スピン模型を複雑性クラスに分類すること。
• 低次の相互作用がスピン系において本質的に単純さをもたらすかどうかを特定すること。
• 局在化した依存性を持つモデルと完全に接続された2体モデルの複雑性を対比すること。

提案手法

• スピン系におけるモデルの複雑性を定量化するために、情報理論的確率的複雑性を適用する。
• 演算子空間における一対一写像の不変性を用いて、モデルの同値類を定義する。
• 相互作用の次数ではなく、その構造的配置に基づいてモデルを分類する。
• 相互作用のパターンが統計的独立性の反証可能性に与える影響を分析する。
• 重複しないグループ間の局在化した相互作用と完全に接続された2体モデルを比較する。
• 形式的な不変性原理を用いて、複雑性が相互作用の次数ではなく配置に依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の次数の相互作用を有するスピン模型の確率的複雑性は、何によって決定されるか？
• RQ2 演算子空間における一対一写像の不変性は、モデル分類にどのように影響するか？
• RQ3 完全に接続された2体モデルは、その形が単純であるにもかかわらず、なぜ極めて複雑とされるのか？
• RQ4 高次の相互作用を有しても、局在化した依存性を持つモデルは、単純と見なせるか？
• RQ5 統計的依存性の配置が、モデルの単純さに果たす役割は何か？

主な発見

• 少数の変数からなる重複しないグループに統計的依存性が局在化したモデルは、低確率的複雑性を示す。
• スピン模型における単純さは、相互作用の次数によって決定されるのではなく、その構造的配置によって決定される。
• 完全に接続された2体モデルは、広範かつ複雑に絡み合った相互作用集合を持つため、極めて複雑である。
• 局在化した依存性を持つモデルは、独立性に関する予測が反証されやすく、これにより単純さが向上する。
• 演算子空間における一対一写像の不変性は、複雑性が再ラベル化に対して不変であることを示し、構造的差異が次数的差異よりも重要であることを強調する。
• 本研究は、相互作用の配置が、相互作用の次数よりも確率的複雑性の主要な決定要因であることを確立した。