[论文解读] Maximum likelihood aggregation and misspecified generalized linear models

Philippe Rigollet|arXiv (Cornell University)|Nov 16, 2009

Statistical Methods and Inference参考文献 23被引用 2

一句话总结

本文提出了一种用于广义线性模型的最大似然聚合框架，该框架无需模型可识别性或真实性，通过约束似然最大化，在期望和高概率下实现精确的Oracle不等式。该方法在小样本情况下提供精确的误差界，并为约束几何结构提供设计指南，通过自然凸损失函数将该方法应用于二分类中的LogitBoost。

ABSTRACT

We study a natural extension of the pure aggregation problem to handle more general distributions for the response in a regression setup with random or deterministic design. While this extension bears strong connections with generalized linear models, it does not require identifiability of the parameter or even that the model is true. It is shown that this problem can be solved by constrained likelihood maximization and we derive sharp oracle inequalities that hold both in expectation and with high probability. A new proof technique is employed and yields error bounds that are accurate already for small sample sizes and provide guidelines to choose the geometry of the constraint. To illustrate the main results, we derive generalization error bounds for the LogitBoost algorithm in binary classification with a natural convex loss function. Mathematics Subject Classifications: Primary 62G08, Secondary 62J12, 62H30, 62G07.

研究动机与目标

• 将纯聚合方法扩展至回归中的一般响应分布（包括随机设计或固定设计），超越标准广义线性模型的范围。
• 开发一种无需参数可识别性或模型真实性的框架，从而在模型误设条件下实现稳健估计。
• 通过一种新颖的证明技术推导有限样本误差界，确保即使在小样本情况下也具有准确性。
• 提供选择约束几何结构以优化性能的实用指南。
• 通过推导二分类中LogitBoost算法的泛化误差界，展示该方法的实用性。

提出的方法

• 将问题表述为约束似然最大化，以处理无需可识别性或模型真实性的误设模型。
• 采用一种新颖的证明技术，推导出在期望和高概率下均成立的精确Oracle不等式。
• 推导出在约束集几何结构影响下，即使在小样本情况下也准确的误差界。
• 使用自然凸损失函数，将LogitBoost算法在二分类中的分析作为具体应用。
• 建立聚合框架与广义线性模型之间的联系，同时放宽标准正则性假设。
• 基于推导出的误差界，提出一种基于约束几何结构选择的策略，以提升有限样本性能。

实验结果

研究问题

• RQ1 如何在不依赖模型可识别性或真实性的前提下，将纯聚合方法扩展至回归中的一般响应分布？
• RQ2 约束几何结构对基于似然的聚合方法在有限样本下的性能有何影响？
• RQ3 能否通过一种新颖的证明技术，为误设模型推导出精确的Oracle不等式？
• RQ4 所提出的误差界如何应用于LogitBoost等实际算法在二分类中的情形？
• RQ5 当真实模型不在所考虑的模型类中时，泛化误差的理论保证是什么？

主要发现

• 所提出的方法即使在模型误设条件下，也能在期望和高概率下实现精确的Oracle不等式。
• 新颖的证明技术生成了在小样本情况下也准确的误差界，使该方法适用于有限样本分析。
• 约束几何结构显著影响性能，本文提供了其最优选择的指导原则。
• 该框架成功推广至LogitBoost算法，通过自然凸损失函数提供了理论依据。
• 结果表明，即使在模型不可识别或非真实的情况下，基于似然的聚合方法依然有效。
• 推导出的误差界紧致且具信息量，为模型复杂度与估计误差之间的权衡提供了实用洞见。