[论文解读] Affine Invariant Divergences associated with Composite Scores and its Applications

Takafumi Kanamori, Hironori Fujisawa|arXiv (Cornell University)|May 11, 2013

Advanced Statistical Methods and Models参考文献 21被引用 5

一句话总结

本文引入霍尔德评分（Hölder scores）作为一种新型复合评分方法，可在概率预测中诱导仿射不变估计量。通过利用Bregman散度理论并以仿射不变性表征霍尔德评分，作者证明这些评分可产生对测量单位变化具有鲁棒性的估计量，且在等变性与红降影响函数方面具有理论保证。

ABSTRACT

In statistical analysis, measuring a score of predictive performance is an important task. In many scientific fields, appropriate scores were tailored to tackle the problems at hand. A proper score is a popular tool to obtain statistically consistent forecasts. Furthermore, a mathematical characterization of the proper score was studied. As a result, it was revealed that the proper score corresponds to a Bregman divergence, which is an extension of the squared distance over the set of probability distributions. In the present paper, we introduce composite scores as an extension of the typical scores in order to obtain a wider class of probabilistic forecasting. Then, we propose a class of composite scores, named Holder scores, that induce equivariant estimators. The equivariant estimators have a favorable property, implying that the estimator is transformed in a consistent way, when the data is transformed. In particular, we deal with the affine transformation of the data. By using the equivariant estimators under the affine transformation, one can obtain estimators that do no essentially depend on the choice of the system of units in the measurement. Conversely, we prove that the Holder score is characterized by the invariance property under the affine transformations. Furthermore, we investigate statistical properties of the estimators using Holder scores for the statistical problems including estimation of regression functions and robust parameter estimation, and illustrate the usefulness of the newly introduced scores for statistical forecasting.

研究动机与目标

• 将正确评分规则扩展至更广泛的概率预测类别，通过复合评分实现。
• 开发一类评分——霍尔德评分——其诱导的估计量在数据的仿射变换下保持不变。
• 通过仿射不变性表征霍尔德评分，确保估计量与测量单位无关。
• 研究基于霍尔德评分的估计量的统计性质，包括鲁棒性与渐近方差。
• 建立不变性属性与评分函数函数形式之间的理论联系。

提出的方法

• 提出复合评分作为正确评分规则的扩展，以拓宽概率预测的适用范围。
• 引入通过函数形式 $ \phi\left(\frac{\langle pq^{\gamma}\rangle}{\langle q^{1+\gamma}\rangle}\rangle}{\langle q^{1+\gamma}\rangle}\right)\langle q^{1+\gamma}\rangle^{s} $ 定义的霍尔德评分，其中 $ \gamma > 0 $，$ s > 0 $，且 $ \phi $ 满足特定不等式。
• 证明诱导散度的仿射不变性唯一表征霍尔德评分（至等价性）。
• 利用隐函数定理推导在霍尔德评分下最优评分估计量的影响函数。
• 应用Bregman散度理论，建立正确评分与复合评分之间的联系，实现几何与统计分析。
• 在 $ \phi''(1) = -\gamma(1+\gamma) $ 的条件下，证明影响函数呈现红降行为，确保对异常值的鲁棒性。

实验结果

研究问题

• RQ1 哪类复合评分能诱导在数据仿射变换下不变的估计量？
• RQ2 评分规则的函数形式如何通过其在仿射数据变换下的不变性来表征？
• RQ3 基于霍尔德评分的估计量表现出哪些统计性质——如鲁棒性与渐近方差？
• RQ4 在霍尔德评分下，最优评分估计量的影响函数行为如何，特别是在存在异常值时？
• RQ5 霍尔德评分在多大程度上推广了现有正确评分规则，同时保持理想的统计不变性属性？

主要发现

• 霍尔德评分由诱导散度的仿射不变性唯一表征，建立了不变性与评分结构之间的一一对应关系。
• 基于霍尔德评分的最优评分估计量在仿射变换下具有等变性，确保在测量单位缩放或位置偏移下估计结果一致。
• 当 $ \phi''(1) = -\gamma(1+\gamma) $ 时，估计量的影响函数呈现红降行为，表明对极端异常值具有鲁棒性。
• 具有相同 $ \phi''(1) $ 值的霍尔德评分估计量具有相同的渐近方差，表明在相同曲率条件下效率等价。
• 函数不等式 $ \phi(z) \geq \phi(1)z^{(1+\gamma)s} $ 对所有 $ z \geq 0 $ 成立，是复合评分诱导仿射不变散度的充要条件。
• 变换 $ \xi(H) = |H/\phi(1)|^{1/s} \text{sign}(H) $ 确保霍尔德评分在仿射不变性下与复合评分的标准形式在概率上等价。