[论文解读] Hierarchical array priors for ANOVA decompositions

Alexander Volfovsky, Peter D. Hoff|arXiv (Cornell University)|Aug 8, 2012

Sensory Analysis and Statistical Methods参考文献 20被引用 7

一句话总结

本文提出了用于方差分析分解的分层数组先验，通过在因子水平间建模共享结构，自适应地在主效应与交互项之间借用信息。通过使用因子特异的数组变正态先验，该方法利用估计良好的低阶效应信息，改进了稀疏或微弱高阶交互项的估计，尤其当因子水平的系数表现出一致模式时效果更佳。

ABSTRACT

ANOVA decompositions are a standard method for describing and estimating heterogeneity among the means of a response variable across levels of multiple categorical factors. In such a decomposition, the complete set of main effects and interaction terms can be viewed as a collection of vectors, matrices and arrays that share various index sets defined by the factor levels. For many types of categorical factors, it is plausible that an ANOVA decomposition exhibits some consistency across orders of effects, in that the levels of a factor that have similar main-effect coefficients may also have similar coefficients in higher-order interaction terms. In such a case, estimation of the higher-order interactions should be improved by borrowing information from the main effects and lower-order interactions. To take advantage of such patterns, this article introduces a class of hierarchical prior distributions for collections of interaction arrays that can adapt to the presence of such interactions. These prior distributions are based on a type of array-variate normal distribution, for which a covariance matrix for each factor is estimated. This prior is able to adapt to potential similarities among the levels of a factor, and incorporate any such information into the estimation of the effects in which the factor appears. In the presence of such similarities, this prior is able to borrow information from well-estimated main effects and lower-order interactions to assist in the estimation of higher-order terms for which data information is limited.

研究动机与目标

• 解决在数据有限或稀疏时估计方差分析中高阶交互效应的挑战。
• 对主效应和交互项中的因子水平间结构相似性进行建模，假设相似的主效应系数意味着相似的交互效应系数。
• 通过借用估计良好的低阶效应信息，提高高阶项的估计准确性。
• 开发一种灵活的先验分布，使其能适应分类方差分析模型中此类结构模式的存在。

提出的方法

• 为方差分析分解中的交互数组集合提出基于数组变正态分布的分层先验分布。
• 为每个因子估计独立的协方差矩阵，以捕捉其在主效应和交互效应背景下各水平间的依赖关系。
• 通过先验结构设计，实现涉及同一因子的效应之间信息共享，尤其从主效应向高阶交互项传递信息。
• 通过编码“同一因子在不同水平上的主效应系数相似，意味着其交互效应系数也相似”的假设，实现自适应的信息借用。
• 采用分层贝叶斯框架，联合估计所有方差分析分量，同时使先验能自适应地响应数据中观察到的模式。
• 将因子水平间的相似性纳入协方差结构，从而提高在数据有限情况下对高阶项的估计效率。

实验结果

研究问题

• RQ1 能否设计一种先验分布，自适应地从主效应借用信息，以改进方差分析中高阶交互项的估计？
• RQ2 如何利用主效应中因子水平间的结构相似性来改进高阶交互项的估计？
• RQ3 引入因子特异的协方差矩阵在多大程度上提升了方差分析效应估计的准确性？
• RQ4 在何种场景下，这种分层先验优于标准的非信息性或独立先验？

主要发现

• 所提出的分层数组先验通过从估计良好的主效应和低阶交互项借用信息，改进了高阶交互效应的估计。
• 当因子水平在主效应中表现出一致的系数模式时，该先验能有效将此信息传递至相应交互项的估计中。
• 该方法能自适应地响应因子水平间结构相似性的存在，从而在稀疏数据设置下实现更高效、更准确的推断。
• 使用因子特异的协方差矩阵使先验能够灵活编码水平间的依赖关系，从而在不发生过拟合的前提下提升估计性能。