[论文解读] A Fused Latent and Graphical Model for Multivariate Binary Data

Yunxiao Chen, Xiaoou Li+2 more|arXiv (Cornell University)|Jun 29, 2016

Advanced Clustering Algorithms Research参考文献 48被引用 9

一句话总结

本文提出了一种融合潜在因子与图模型（FLaG）的方法，将低维潜在因子结构与稀疏图模型相结合，以捕捉多元二值数据中的全局与局部依赖关系。通过使用带有L1范数和核范数惩罚的凸优化方法，该方法同时估计低秩潜在成分与稀疏条件独立图，其模型拟合效果超越了传统多维项目反应理论（IRT）模型，如在人格评估数据中所展示的，该方法能识别出可解释的潜在因子与有意义的项目依赖关系。

ABSTRACT

We consider modeling, inference, and computation for analyzing multivariate binary data. We propose a new model that consists of a low dimensional latent variable component and a sparse graphical component. Our study is motivated by analysis of item response data in cognitive assessment and has applications to many disciplines where item response data are collected. Standard approaches to item response data in cognitive assessment adopt the multidimensional item response theory (IRT) models. However, human cognition is typically a complicated process and thus may not be adequately described by just a few factors. Consequently, a low-dimensional latent factor model, such as the multidimensional IRT models, is often insufficient to capture the structure of the data. The proposed model adds a sparse graphical component that captures the remaining ad hoc dependence. It reduces to a multidimensional IRT model when the graphical component becomes degenerate. Model selection and parameter estimation are carried out simultaneously through construction of a pseudo-likelihood function and properly chosen penalty terms. The convexity of the pseudo-likelihood function allows us to develop an efficient algorithm, while the penalty terms generate a low-dimensional latent component and a sparse graphical structure. Desirable theoretical properties are established under suitable regularity conditions. The method is applied to the revised Eysenck's personality questionnaire, revealing its usefulness in item analysis. Simulation results are reported that show the new method works well in practical situations.

研究动机与目标

• 为解决低维潜在变量模型在捕捉多元二值数据中复杂依赖结构方面的局限性。
• 通过潜在因子建模全局依赖，通过稀疏图结构建模局部、特定的依赖关系。
• 开发一种统一的估计框架，实现模型选择与参数估计的同步进行。
• 在局部独立性假设不成立时，提升项目反应数据的模型拟合度与可解释性。
• 提供一种计算高效且理论基础坚实的高维二值响应分析方法。

提出的方法

• 提出一种融合潜在因子与图模型（FLaG）的模型，将多维IRT模型与伊辛图模型相结合。
• 使用伪似然函数以实现高维二值数据的可扩展推断。
• 对图模型部分施加L1惩罚以诱导稀疏性，对因子载荷矩阵施加核范数惩罚以诱导低秩性。
• 采用交替方向乘子法（ADMM）算法优化非光滑凸目标函数。
• 使用贝基安信息准则（BIC）进行调参选择，以平衡模型复杂度与拟合度。
• 在给定潜在向量与图结构的条件下施加条件独立性，从而实现依赖关系的可解释性分解。

实验结果

研究问题

• RQ1 结合潜在因子与图依赖关系的混合模型是否能比标准IRT模型更好地捕捉多元二值数据中的依赖结构？
• RQ2 在高维、非正则化设置下，如何实现模型选择与参数估计的同步进行？
• RQ3 由低维潜在因子无法解释的残差依赖对模型拟合度与可解释性有何影响？
• RQ4 如何从二值项目响应中可靠地估计稀疏条件独立图？
• RQ5 FLaG模型在真实世界的人格评估数据中在模型拟合度与可解释性方面有多大的提升？

主要发现

• FLaG模型相比传统多维IRT模型显著提升了模型拟合度，经参数自举诊断验证。
• 估计出的三个潜在因子与公认的人格维度（精神质、外向性、神经质）高度吻合。
• 条件图模型中存在大量显著边，揭示了仅靠潜在结构无法捕捉的局部依赖关系。
• 该方法成功识别出有意义的项目对与最大团，如与社交行为和情绪反应相关的项目对，为问卷设计提供了深入洞见。
• 基于BIC的调参选择在实践中表现良好，有效平衡了模型复杂度与拟合度。
• 基于ADMM的算法收敛迅速，可在高维二值数据上实现可扩展计算。