[论文解读] Bayesian Inference of Minimally Complex Models with Interactions of Arbitrary Order

Clélia de Mulatier|arXiv (Cornell University)|Aug 2, 2020

Data Analysis with R被引用 5

一句话总结

本文提出极简复杂度模型（MCMs），这是一类具有任意阶相互作用的自旋模型，其信息论复杂度最低且计算效率高。通过将贝叶斯模型选择限制在MCMs范围内，作者实现了对高维二值数据的可行推断，无需参数拟合或计算开销，即可获得关于变量依赖关系的稳健且可证伪的预测。

ABSTRACT

Compared to v1.0: changes structures of Nset/Kset from map to vector --> significantly faster. The rest of the code remains unchanged.

研究动机与目标

• 解决高维二值数据建模的最佳模型选择问题，传统方法因模型复杂度和计算不可行性而难以应对。
• 通过聚焦于极简复杂度模型，克服成对相互作用模型信息论复杂度高且难以推断的局限性。
• 构建一个计算上可行且在数据表示变换下保持不变的贝叶斯模型选择框架。
• 通过最小复杂度的独立分量实现对全局依赖结构的稳健推断与采样。
• 证明MCMs能够揭示高阶相互作用，并对现实世界数据集中的变量依赖关系提供强有力且可证伪的预测。

提出的方法

• 将极简复杂度模型（MCMs）定义为由独立分量（ICC）组成的自旋模型，其中每个分量内包含所有可能的相互作用，而分量之间无相互作用。
• 利用最小描述长度（MDL）原则量化模型复杂度，确保MCMs在信息论上达到最小化，且易于证伪。
• 在无需参数拟合的情况下计算MCMs的模型证据（边际似然），利用MCMs的充分统计量完全由其结构决定的特性。
• 通过评估对数证据来比较MCMs在天文数字规模的模型空间中的表现，对数证据在拟合度与复杂度之间实现平衡。
• 在实践中采用启发式方法搜索最优MCMs，包括对变量进行分组为ICC的采样，以及使用优选基底以缩小搜索空间。
• 通过基于内在结构（如使用最优独立模型作为优选基底）选择模型，而非依赖任意坐标系，确保在数据表示变化下的不变性。

实验结果

研究问题

• RQ1 当将贝叶斯模型选择限制在极简复杂度模型家族时，能否实现对高维二值数据的计算可行推断？
• RQ2 极简复杂度模型（MCMs）是否能对高维数据中的变量依赖关系提供稳健且可证伪的预测？
• RQ3 MCMs能否在现实世界数据集（如美国最高法院投票数据或人格调查数据）中揭示高阶相互作用（超越成对关系）？
• RQ4 MCM推断在数据表示变化下的不变性如何影响模型选择的可靠性？
• RQ5 与标准的成对或全阶相互作用模型相比，MCMs在证据计算与模型选择方面在计算与统计上具有哪些优势？

主要发现

• 基于最优独立模型（IM）基底的美国最高法院数据最佳MCM，其对数证据约为 -3327，显著优于原始数据基底下的最佳MCM（对数证据 ≈ -5258）。
• 在包含50个问题的五大湖人格数据中，真实分组为五个ICC（代表五大湖人格特质）的MCM，其对数证据为 -2.518×10⁷，高于随机采样启发式方法找到的最佳结果（-2.596×10⁷），尽管仍处于分布的极尾区域。
• 对于n=9个变量，存在115,975个MCMs共享同一优选基底，其中21,147个具有最大秩r=9，表明模型空间虽庞大但具有高度结构化。
• 基于最优IM基底（b*）的秩r=9的MCMs，其对数证据显著高于原始数据基底中绝大多数MCMs，表明其拟合度与模型质量更优。
• 具有给定优选基底的MCMs数量随二项式系数与贝尔数之和而增长，即 ∑ᵣ₌₀ⁿ (ⁿCᵣ)Bᵣ，当n=9时，该值为115,975个模型。
• MCMs计算高效：模型证据无需参数拟合即可计算，且从模型中采样无需计算成本，从而实现快速推断与验证。