[论文解读] Information-based inference for singular models and finite sample sizes: A frequentist information criterion

Colin LaMont, Paul A. Wiggins|arXiv (Cornell University)|Jun 19, 2015

Statistical Methods and Inference参考文献 30被引用 3

一句话总结

本文提出了频义信息准则（QIC），一种新的信息准则，通过用适应似然几何、样本大小和参数流形结构的频义近似替代AIC的渐近近似模型复杂度，从而改进奇异模型和有限样本规模下的模型选择。QIC显著降低了复杂度估计的偏差，在正则模型和奇异模型中均优于AIC和BIC，尤其在小样本或参数空间松散/可识别性差的情况下表现更优。

ABSTRACT

In the information-based paradigm of inference, model selection is performed by selecting the candidate model with the best estimated predictive performance. The success of this approach depends on the accuracy of the estimate of the predictive complexity. In the large-sample-size limit of a regular model, the predictive performance is well estimated by the Akaike Information Criterion (AIC). However, this approximation can either significantly under or over-estimating the complexity in a wide range of important applications where models are either non-regular or finite-sample-size corrections are significant. We introduce an improved approximation for the complexity that is used to define a new information criterion: the Frequentist Information Criterion (QIC). QIC extends the applicability of information-based inference to the finite-sample-size regime of regular models and to singular models. We demonstrate the power and the comparative advantage of QIC in a number of example analyses.

研究动机与目标

• 解决AIC在奇异模型和有限样本情形下因复杂度估计偏差而导致的失效问题。
• 识别AIC偏差的根本原因，包括模型奇异性、有限样本大小以及参数不可识别性。
• 提出一种新的复杂度近似方法——频义复杂度，使其适应似然结构、样本大小和训练算法。
• 提出QIC作为鲁棒且改进的信息准则，在正则模型和奇异模型中均展现出优于AIC和BIC的预测性能。
• 通过生物物理和细胞生物学数据的实证分析，证明QIC的优越性。

提出的方法

• 提出一种新的模型复杂度近似方法，称为‘频义复杂度’，其基于最大似然估计（MLE）参数处的估计模型，而非依赖维度和样本大小的通用函数。
• 将频义信息准则（QIC）定义为负对数似然与频义复杂度之和，其中复杂度由参数流形的曲率和几何结构推导得出。
• 利用Laplace近似证明，在正则模型的大样本极限下，QIC与AIC渐近等价。
• 通过分析不可识别参数和外曲率如何影响MLE的方差，考虑模型奇异性对复杂度估计偏差的影响。
• 将QIC应用于真实数据示例，包括基于傅里叶的中微子强度模型和共振模型，以验证其性能。
• 证明QIC能自适应模型结构——与AIC相比，高阶多重性模型的QIC值更大，而松散模型的QIC值更小。

实验结果

研究问题

• RQ1 AIC在奇异模型和有限样本情形下因复杂度估计不准确而失效的原因是什么？
• RQ2 参数不可识别性、样本大小和参数流形几何在决定模型复杂度方面起什么作用？
• RQ3 能否推导出一种适应似然函数、训练算法和样本大小的频义复杂度近似方法，从而超越AIC的固定维度假设？
• RQ4 QIC在正则模型和奇异模型中的预测性能与AIC和BIC相比如何？
• RQ5 在哪些场景下QIC显著优于AIC，特别是在小样本或松散参数空间中？

主要发现

• 对于正则模型，QIC在大样本极限下与AIC渐近等价，确保与既有方法的一致性。
• 对于奇异模型，QIC的值可能显著大于或小于AIC，具体取决于模型结构——例如，高阶多重性模型中QIC远大于AIC，而松散模型中则远小于AIC——这是由于其自适应复杂度估计机制。
• QIC中的频义复杂度相比AIC显著降低了复杂度估计的偏差，从而在有限样本中提升了预测性能。
• 在多个示例分析中，QIC在模型选择方面优于AIC和BIC，尤其在AIC假设失效的情况下表现更优。
• 参数流形中是否存在外曲率显著影响MLE方差估计的准确性，而QIC通过其几何感知的复杂度机制对此进行了有效处理。
• 在基于傅里叶的中微子强度模型中，QIC正确捕捉了季节依赖性的复杂度，展示了其在具有非独立同分布结构的真实数据中的稳健性。