[论文解读] Finite-Sample Equivalence of Several Statistical Models for Presence-Only Data

William Fithian, Trevor Hastie|arXiv (Cornell University)|Jul 30, 2012

Species Distribution and Climate Change参考文献 13被引用 4

一句话总结

本文建立了非齐次泊松过程（IPP）、最大熵（Maxent）与一种新颖的‘无限加权逻辑回归’模型在仅有存在数据下的有限样本等价性。研究表明，尽管在有限样本下逻辑回归通常与IPP/Maxent不同，但所提出的加权方案可使其与IPP精确等价，从而实现将逻辑回归方法直接扩展至IPP和Maxent模型。

ABSTRACT

Statistical modeling of presence-only data has attracted much recent attention in the ecological literature, leading to a proliferation of methods, including the inhomogeneous Poisson process (IPP) model, maximum entropy (Maxent) modeling of species distributions and logistic regression models. Several recent articles have shown the close relationships between these methods. We explain why the IPP intensity function is a more natural object of inference in presence-only studies than occurrence probability (which is only defined with reference to quadrat size), and why presence-only data only allows estimation of relative, and not absolute intensity of species occurrence. All three of the above techniques amount to parametric density estimation under the same exponential family model (in the case of the IPP, the fitted density is multiplied by the number of presence records to obtain a fitted intensity). We show that IPP and Maxent give the exact same estimate for this density, but logistic regression in general yields a different estimate in finite samples. When the model is misspecified - as it practically always is - logistic regression and the IPP may have substantially different asymptotic limits with large data sets. We propose ``infinitely weighted logistic regression,'' which is exactly equivalent to the IPP in finite samples. Consequently, many already-implemented methods extending logistic regression can also extend the Maxent and IPP models in directly analogous ways using this technique.

研究动机与目标

• 澄清广泛使用的仅有存在数据建模方法——IPP、Maxent与逻辑回归之间的理论关系。
• 阐明为何在仅有存在数据研究中，IPP强度函数比发生概率更适合作为推断目标。
• 证明在模型设定错误时，有限样本下逻辑回归与IPP/Maxent的估计结果存在差异。
• 提出一种新方法——无限加权逻辑回归，实现与IPP和Maxent在有限样本下的精确等价。
• 通过该等价性，实现将现有逻辑回归扩展方法（如正则化、空间平滑）直接应用于IPP和Maxent模型。

提出的方法

• 本文将三种模型——IPP、Maxent与逻辑回归——统一置于同一指数族模型框架下，作为参数密度估计问题处理。
• 证明IPP强度函数是自然的推断目标，因其避免了对任意划分网格大小的依赖，而发生概率则受此影响。
• 作者证明，在有限样本下，IPP与Maxent产生完全相同的密度估计，而逻辑回归通常不会。
• 通过赋予权重随样本量增长的机制，提出‘无限加权逻辑回归’，以在有限样本下强制实现与IPP的等价性。
• 该方法采用基于似然的框架，重新加权逻辑回归似然，使其估计方程与IPP的估计方程一致。
• 这种重新加权确保在相同指数族结构下，三者均估计相同的潜在密度函数。

实验结果

研究问题

• RQ1 在仅有存在数据的有限样本设定下，非齐次泊松过程、最大熵与逻辑回归模型之间有何关系？
• RQ2 为何在仅有存在数据建模中，强度函数比发生概率更适合作为推断目标？
• RQ3 在何种条件下，有限样本下逻辑回归与IPP模型会产生不同的估计结果？
• RQ4 是否可对逻辑回归进行修改，以实现与IPP和Maxent模型在有限样本下的精确等价？
• RQ5 这种等价性对将现有逻辑回归技术扩展至IPP和Maxent框架有何影响？

主要发现

• 在有限样本下，IPP与Maxent产生完全相同的密度估计，证实了二者在相同指数族模型下的理论等价性。
• 即使模型设定正确，有限样本下逻辑回归的估计结果通常也不同于IPP/Maxent。
• 在模型设定错误时，随着样本量增大，逻辑回归与IPP可能收敛至不同的渐近极限。
• 所提出的无限加权逻辑回归在有限样本下实现了与IPP和Maxent模型的精确等价。
• 该等价性使得所有现有的逻辑回归扩展方法——如正则化、空间平滑与惩罚——可直接应用于Maxent与IPP模型。