[论文解读] The Infinite Hierarchical Factor Regression Model

Piyush Rai, Hal Daumé|ArXiv.org|Aug 5, 2009

Bayesian Methods and Mixture Models参考文献 13被引用 42

一句话总结

该论文提出了一种非参数贝叶斯因子回归模型，通过稀疏印度餐厅过程（sparse Indian Buffet Process）和Kingman共祖过程（Kingman’s coalescent），联合推断稀疏的基因-通路关联、未知数量的潜在因子以及因子之间的层次结构。该模型在不假设固定因子数量或因子相互独立的前提下，提升了基因表达分析中的数据重构能力、预测性能和可解释性。

ABSTRACT

We propose a nonparametric Bayesian factor regression model that accounts for uncertainty in the number of factors, and the relationship between factors. To accomplish this, we propose a sparse variant of the Indian Buffet Process and couple this with a hierarchical model over factors, based on Kingman's coalescent. We apply this model to two problems (factor analysis and factor regression) in gene-expression data analysis.

研究动机与目标

• 为解决标准因子分析中假设已知因子数量、因子相互独立或所有特征均相关等局限性。
• 通过稀疏性建模基因-通路关系，反映生物学现实中仅部分基因调控每个通路的实际情况。
• 在因子之间引入层次结构，反映已知的生物学关系，如共享调控功能。
• 在单一非参数框架内统一因子分析与因子回归，提升预测性能。
• 实现因子层次与相关性的自动发现，无需事后聚类或人工调参。

提出的方法

• 使用印度餐厅过程（IBP）的稀疏变体来建模基因-因子（基因-通路）关系，支持稀疏性和因子数量的非参数推断。
• 采用Kingman共祖过程作为因子层次结构的非参数先验，建模因子之间的进化相关性。
• 通过在因子载荷矩阵V上施加共祖先验，将层次因子结构整合到因子回归模型中。
• 使用吉布斯采样联合推断基因选择、因子数量、因子载荷和层次结构，利用共轭先验实现高效计算。
• 将模型应用于合成数据和真实基因表达数据（大肠杆菌和乳腺癌数据），并与基线模型进行性能比较。
• 采用两阶段评估：数据重构（MSE和对数似然）和因子回归（二值预测与实值预测）。

实验结果

研究问题

• RQ1 非参数贝叶斯模型能否在基因表达数据中联合推断潜在因子的数量、其层次关系以及稀疏的基因-因子关联？
• RQ2 在因子回归中，对因子施加层次先验是否能提升数据重构和预测性能？
• RQ3 与标准IBP相比，稀疏IBP变体在高维数据中对虚假或无关基因的处理能力如何？
• RQ4 所推断的层次结构能否以系统化、数据驱动的方式识别出具有生物学意义的显著调控通路？
• RQ5 在因子回归任务中，该模型是否优于标准方法（如逻辑回归、BFRM及独立预测模型）？

主要发现

• 在乳腺癌数据的二值响应预测中，该模型误差率为14.6%（±0.48），优于逻辑回归（17.5%）和BFRM（19.8%）。
• 在因子载荷矩阵V上使用共祖先验的模型，其重构误差更低（MSE = 0.43），对数似然更高，优于高斯先验（MSE = 0.45，对数似然更低），表明拟合更优且泛化能力更强。
• 层次结构通过限制后验分布至合理的配置，减少了对不切实际因子层次的探索，从而加快收敛速度。
• 推断出的层次结构正确地按显著性排序因子：顶层因子调控更多基因，且更接近根节点，这一结果在大肠杆菌和乳腺癌数据中均得到验证。
• 通过稀疏IBP实现的变量选择有效过滤了虚假基因，同时保留了合成数据中的226个真实调控基因。
• 在二值和实值因子回归任务中，该模型均优于基线模型，且在20次随机初始化下表现出较低的方差。