[论文解读] A constrained risk inequality for general losses

John C. Duchi, Feng Ruan|arXiv (Cornell University)|Apr 22, 2018

Statistical Methods and Inference参考文献 11被引用 3

一句话总结

本文提出了一种适用于任意非递减损失函数的广义约束风险不等式，将布朗和洛的成果从平方误差损失扩展至更一般的情形。通过利用柯西-施瓦茨不等式与两点检验框架，该文在已知某一分布下估计风险上界的前提下，建立了另一分布下估计风险的下界，从而为各类损失类型（包括绝对误差和偏差概率）下的超效率与自适应估计器提供了有限样本下界。

ABSTRACT

We provide a general constrained risk inequality that applies to arbitrary non-decreasing losses, extending a result of Brown and Low [Ann. Stat. 1996]. Given two distributions $P_0$ and $P_1$, we find a lower bound for the risk of estimating a parameter $θ(P_1)$ under $P_1$ given an upper bound on the risk of estimating the parameter $θ(P_0)$ under $P_0$. The inequality is a useful pedagogical tool, as its proof relies only on the Cauchy-Schwartz inequality, it applies to general losses, and it transparently gives risk lower bounds on super-efficient and adaptive estimators.

研究动机与目标

• 开发适用于任意非递减损失函数的估计风险广义下界，突破以往研究中仅限于平方误差损失的局限。
• 提供一种仅依赖柯西-施瓦茨不等式的透明且具有教学价值的证明方法，适用于广泛的统计估计问题。
• 量化在估计器于某一分布下表现超效率、而在另一分布下误差被放大时的风险权衡，阐明一致超效率的不可能性。
• 将约束风险不等式的适用范围扩展至非参数估计问题与函数估计，尤其在一般损失函数设定下。
• 为自适应估计中的有限样本下界推导提供统一框架，弥合与局部渐近最小极大理论之间的鸿沟。

提出的方法

• 使用一般损失函数 $ \ell(\|\widehat{\theta} - \theta(P)\|_2) $ 形式化估计风险，其中 $ \ell $ 为非递减且凸函数。
• 引入 $ \chi^2 $-相似性度量 $ \rho(P_1 \| P_0) = \mathbb{E}_0[(dP_1/dP_0)^2] $，用于衡量两个分布 $ P_0 $ 与 $ P_1 $ 之间的相似程度。
• 通过在变换后的损失项上应用柯西-施瓦茨不等式，推导出在已知 $ R(\widehat{\theta}, P_0) $ 上界为 $ \delta $ 的前提下，对 $ R(\widehat{\theta}, P_1) $ 的风险下界。
• 定义分离度 $ \Delta = 2\ell(\frac{1}{2}\|\theta_0 - \theta_1\|_2) $，用于量化在 $ P_0 $ 与 $ P_1 $ 下参数之间的距离。
• 应用似然比测度变换，将 $ P_1 $ 下的期望关系映射至 $ P_0 $，从而推导出最终的风险不等式。
• 通过控制与霍尔德不等式，将结果推广至非凸损失函数及不同维度的参数空间，得出推论1与推论2。

实验结果

研究问题

• RQ1 能否为超越平方误差损失的一般非递减损失函数建立约束风险不等式？
• RQ2 当在 $ P_0 $ 处风险受约束时，估计 $ \theta(P_1) $ 的最小可实现风险是多少？
• RQ3 在 $ P_0 $ 处具有超效率的估计器，其在邻近分布 $ P_1 $ 处的风险受到何种约束？
• RQ4 该不等式在具有通用损失函数的非参数估计问题中可应用到何种程度？
• RQ5 该不等式对函数估计中自适应与高效估计器的有限样本性质有何影响？

主要发现

• 本文建立了不等式 $ R(\widehat{\theta}, P_1) \geq \left[ \Delta^{1/2} - (\rho(P_1 \| P_0) \cdot \delta)^{1/2} \right]_+^2 $，其中 $ \Delta = 2\ell(\frac{1}{2}\|\theta_0 - \theta_1\|_2) $，在已知 $ P_0 $ 下风险上界为 $ \delta $ 的前提下，为 $ P_1 $ 下的风险提供了下界。
• 该证明仅依赖柯西-施瓦茨不等式，因此清晰透明，适用于多种损失函数。
• 对于非凸损失，推论1表明该界仍成立，其中 $ \Delta = \ell(\frac{1}{2}\|\theta_0 - \theta_1\|_2) $，从而将结果扩展至非凸损失情形。
• 在参数为 $ k $-维且 $ k \leq 2 $ 时，该界为 $ R(\widehat{\theta}, P_1) \geq \left[ \Delta^{1/2} - (\rho(P_1 \| P_0) \cdot \delta)^{1/2} \right]_+^2 $，其中 $ \Delta = \|\theta_0 - \theta_1\|_2 $。
• 当 $ k > 2 $ 时，该界为 $ R(\widehat{\theta}, P_1) \geq \left[ \Delta - (\rho(P_1 \| P_0) \cdot \delta^2)^{1/2} \right]_+^k $，通过霍尔德不等式并归约为 $ k=2 $ 的情形推导得出。
• 该方法被应用于正态均值估计与非参数函数估计，展示了其在推导自适应估计器有限样本下界方面的实用性。