[論文レビュー] Bayesian Inference of Minimally Complex Models with Interactions of Arbitrary Order

Clélia de Mulatier|arXiv (Cornell University)|Aug 2, 2020

Data Analysis with R被引用数 5

ひとこと要約

この論文は、任意の順序の相互作用を持つスピンモデルの族としての最小複雑性モデル（MCMs）を導入する。MCMsは情報理論的に単純で、計算的にも効率的である。ベイズ的モデル選択をMCMsに制限することで、高次元のバイナリデータに対する実行可能な推論が可能になり、パラメータフィッティングや計算コストを伴わずに、変数間の依存関係について堅牢で、反証可能な予測が得られる。

ABSTRACT

Compared to v1.0: changes structures of Nset/Kset from map to vector --> significantly faster. The rest of the code remains unchanged.

研究の動機と目的

• 従来の手法がモデルの複雑さと計算の非現実性により困難をきたす高次元バイナリデータの最良モデル選択という課題に対処する。
• 情報理論的に複雑で推論が困難な2次相互作用モデルの限界を乗り越え、最小複雑性モデルに注目することでそれを克服する。
• データ表現の変更に対して不変であり、計算的に取り扱いやすいベイズ的モデル選択の枠組みを開発する。
• 最小複雑性の独立成分を用いて、データのグローバルな依存構造を捉えるモデルの堅牢な推論とサンプリングを可能にする。
• MCMsが高次相互作用を明らかにでき、実世界のデータセットにおける変数間の依存関係について強い反証可能な予測を提供できることを示す。

提案手法

• 最小複雑性モデル（MCMs）を、各成分内にすべての可能な相互作用を持ち、成分間には相互作用を持たない独立成分（ICC）から構成されるスピンモデルとして定義する。
• モデルの複雑さを測るために最小記述長（MDL）原理を用い、MCMsが情報理論的に最小であり、反証が容易であることを保証する。
• パラメータフィッティングを必要とせず、MCMsの十分統計量が構造によって完全に決定されることを活用して、MCMsのモデル証拠（周辺尤度）を計算する。
• 適合度と複雑さのバランスをとるため、対数尤度を評価することで、天文的規模のモデル空間においてMCMsを比較するベイズ的モデル選択を適用する。
• 実用的な最良MCMの探索のためのヒューリスティクスを用いる。具体的には、変数をICCに分割するサンプリングと、探索空間を削減するための好ましい基底の使用を行う。
• モデルの選択を任意の座標系ではなく、内在的な構造（例えば、最良の独立モデルを好ましい基底として選ぶ）に基づけるようにすることで、データ表現の変更に対して不変性を確保する。

実験結果

リサーチクエスチョン

• RQ1 最小複雑性モデルの族に制限した場合、高次元バイナリデータに対するベイズ的モデル選択が計算的に現実可能となるか？
• RQ2 最小複雑性モデル（MCMs）は、高次元データにおける変数間の依存関係について、堅牢で反証可能な予測を提供するか？
• RQ3 MCMsは、米国Supreme Courtの投票データやパーソナリティ調査の実世界データセットにおいて、2次相互作用を超える高次相互作用を明らかにできるか？
• RQ4 データ表現の変更に対してMCM推論が不変であることは、モデル選択の信頼性にどのように影響するか？
• RQ5 標準的な2次相互作用モデルや完全相互作用モデルと比較して、MCMsは尤度計算とモデル選択において、計算的・統計的にどのような利点を有するか？

主な発見

• 米国Supreme Courtデータに対する最良のMCMは、最良の独立モデル（IM）基底に基づいて推定され、対数尤度が約 -3327 に達し、元のデータ基底における最良MCM（対数尤度 ≈ -5258）を著しく上回った。
• 50の質問を含むBig 5パーソナリティデータでは、真の分割（5つのICCに分かれる、Big 5特性を表す）が対数尤度 -2.518×10⁷ を達成し、ランダムサンプリングヒューリスティクスで得られた最良結果（-2.596×10⁷）よりも高かったが、それでも分布の極端な末尾に位置した。
• n=9変数の場合、同じ好ましい基底を持つMCMは115,975個存在し、そのうち21,147個が最大ランク r=9 を示しており、膨大だが構造的なモデル空間であることが示された。
• 最良のIM基底（b*）に基づくランク r=9 のMCMsは、元のデータ基底における大多数のMCMsよりも顕著に高い対数尤度を示し、適合度とモデル品質の優位性を示した。
• 与えられた好ましい基底を持つMCMの数は、二項係数とベル数の和 ∑ᵣ₌₀ⁿ (ⁿCᵣ)Bᵣ に比例し、n=9 の場合115,975モデルに相当する。
• MCMsは計算的に効率的である：パラメータフィッティングを必要とせずモデル証拠が計算可能であり、モデルからのサンプリングには計算コストがかからないため、迅速な推論と検証が可能である。