[论文解读] A new specification of generalized linear models for categorical data

Jean Peyhardi, Catherine Trottier+1 more|arXiv (Cornell University)|Apr 29, 2014

Bayesian Modeling and Causal Inference参考文献 5被引用 9

一句话总结

本文提出了一种针对分类数据广义线性模型（GLMs）的统一$(r, F, Z)$三元组规范，将链接函数分解为累积分布函数$F$、概率比$r$和设计矩阵$Z$。该研究引入了一类类比现有有序模型的名义数据参考模型家族，建立了不变性与可逆性性质，并通过基准数据集和生物数据集的实证表明，该框架能够实现稳健的模型比较，并在分类响应中恢复部分排序，尤其在使用非对称CDF（如Gumbel最大值）时表现优异。

ABSTRACT

Regression models for categorical data are specified in heterogeneous ways. We propose to unify the specification of such models. This allows us to define the family of reference models for nominal data. We introduce the notion of reversible models for ordinal data that distinguishes adjacent and cumulative models from sequential ones. The combination of the proposed specification with the definition of reference and reversible models and various invariance properties leads to a new view of regression models for categorical data.

研究动机与目标

• 将名义与有序分类数据的离散回归模型统一于单一、同质的规范之下。
• 通过允许任意累积分布函数$F$，将先前仅限于逻辑CDF的多项式对数模型扩展为更广义的模型家族，从而为名义数据创建新型参考模型家族。
• 通过可逆性概念，厘清相邻、累积与顺序模型在类别置换下的不变性差异，明确其不同解释与局限性。
• 基于统一框架开发新型监督分类器，并在基准数据集与真实生物数据集上进行测试。
• 在仅提供部分排序信息的梨树数据集中，利用顺序模型与非对称CDF恢复类别间的完整排序。

提出的方法

• 提出将链接函数新颖地分解为概率比$r$与累积分布函数$F$，结合设计矩阵$Z$，构成$(r, F, Z)$三元组。
• 通过固定$r$（如基线类别比）并允许$F$与$Z$变化，定义名义数据的参考模型，从而推广多项式对数模型至非逻辑CDF。
• 引入有序数据可逆模型的概念，基于类别置换下的不变性，将非可逆的顺序模型与可逆的相邻与累积模型区分开来。
• 分析模型在类别置换下的不变性性质，表明仅特定模型家族（如累积、相邻模型）在置换下保持结构不变。
• 使用BIC准则选择设计矩阵$Z$，并通过比较不同类别排列下的对数似然值来比较模型，尤其在使用非对称CDF（如Gumbel最大值）时打破对称性，以区分原本等价的模型。
• 将该框架应用于包含五种腋生枝类型的梨树数据集，基于部分排序约束（$l < u < U$，$l < s < S$）测试所有有效排列，采用$F$=Gumbel最大值的顺序模型推断完整排序。

实验结果

研究问题

• RQ1 如何将名义与有序分类数据的广义线性模型统一于单一规范之下？
• RQ2 能否将多项式对数模型从仅限于逻辑CDF的范围中推广，形成名义数据的连贯参考模型家族？
• RQ3 从类别置换下的可逆性与不变性角度，顺序模型与相邻、累积模型有何本质区别？
• RQ4 如何利用分类响应中的部分排序信息，结合模型家族与不变性性质，恢复完整排序？
• RQ5 所提出的框架能否提升在基准数据集与真实世界生物数据集上的监督分类性能？

主要发现

• 所提出的$(r, F, Z)$三元组规范成功统一了现有名义与有序数据模型，实现了不同家族间的直接比较。
• 通过固定$r$并允许$F$与$Z$变化而定义的新型名义数据参考模型家族，将多项式对数模型推广至非逻辑CDF，具有更强的通用性。
• 可逆性概念有效区分了顺序模型（不可逆）与相邻、累积模型（可逆），澄清了其不同解释与局限性。
• 仅特定模型家族（如相邻与累积模型）在类别置换下保持不变性，而顺序模型则不具备此性质。
• 在梨树数据集中，第三种排列$\sigma^* = \{l, u, U, s, S\}$在多种准则下均被一致选为最优，表明无刺短枝（u）在发育顺序上先于有刺短枝（s）。
• 使用非对称的Gumbel最大值CDF使原本等价的模型得以区分，最优对数似然值在$\sigma^*$排列下取得，证实了推断出的顺序。