[论文解读] Linear programming problems for frontier estimation

Guillaume Bouchard, Stéphane Girard+2 more|arXiv (Cornell University)|Mar 30, 2011

Advanced Statistical Methods and Models被引用 6

一句话总结

本文提出了一种基于线性规划的核平滑前沿估计方法，旨在最小化支持区域的同时覆盖所有样本点。该方法在几乎必然意义下实现 $L_1$ 收敛，收敛速率为 $O(\sqrt{\log N / (Nh)})$，且解具有稀疏性，仅有少数非零系数作为支持向量发挥作用。

ABSTRACT

We propose new estimates for the frontier of a set of points. They are defined as kernel estimates covering all the points and whose associated support is of smallest surface. The estimates are written as linear combinatio- ns of kernel functions applied to the points of the sample. The coefficients of the linear combination are then computed by solving a linear programming problem. In the general case, the solution of the optimizat- ion problem is sparse, that is, only a few coefficients are non zero. The corresponding points play the role of support vectors in the statistical learning theory. The L_1 error between the estimated and the true frontiers is shown to be almost surely converging to zero, and the rate of convergence is provided. The behaviour of the estimates on finite sample situations is illustrated on some simulations.

研究动机与目标

• 开发一种新的非参数前沿估计器，以最小化估计支持区域的面积，同时覆盖所有观测到的数据点。
• 在一般条件下，建立估计器在 $L_1$ 范数下的理论一致性。
• 将前沿估计问题与稀疏优化联系起来，与统计学习理论中支持向量机的原理形成类比。
• 提供估计前沿与真实前沿之间 $L_1$ 误差的几乎必然收敛速率。
• 通过模拟实验与现有方法的对比，展示该方法在有限样本下的性能表现。

提出的方法

• 前沿估计定义为以样本点为中心的核函数的线性组合：$\tilde{f}_N(x) = \sum_{i=1}^N \alpha_i K_h(x - X_i)$，其中 $K_h(\cdot)$ 为带宽为 $h$ 的核函数。
• 系数 $\alpha_i$ 通过求解一个线性规划问题得到，目标是最小化总质量 $\sum \alpha_i$，同时满足约束条件 $\sum \alpha_i K_h(x - X_i) \geq f(x)$ 对所有 $x$ 成立，且所有样本点均被覆盖。
• 优化问题确保了解的稀疏性：仅一小部分 $\alpha_i$ 非零，对应于定义前沿的支持向量。
• 该方法利用大数定律和伯恩斯坦型不等式，控制经验核和与其期望之间的偏差。
• 理论分析利用集中不等式以及核函数和估计器的利普希茨连续性，推导出收敛速率。
• 该方法可推广至任意输入集 $E$ 和支撑集 $S = \{(x,y): x \in E, 0 \leq y \leq f(x)\}$，不限于 $[0,1] \times [0,f(x)]$ 的情形。

实验结果

研究问题

• RQ1 能否构造一种前沿估计器，使其在覆盖所有样本点的同时，最小化估计支持区域的面积？
• RQ2 估计前沿 $\tilde{f}_N$ 与真实前沿 $f$ 之间 $L_1$ 误差的几乎必然收敛速率是多少？
• RQ3 解的稀疏性（非零系数的数量）如何影响估计器的性能与可解释性？
• RQ4 在前沿函数 $f$ 的弱正则性假设下，能否证明该估计器的一致性？
• RQ5 与现有方法（如DEA或基于核的平滑方法）相比，该方法在收敛性与有限样本行为方面表现如何？

主要发现

• 估计前沿 $\tilde{f}_N$ 与真实前沿 $f$ 之间的 $L_1$ 误差以几乎必然方式收敛于零，收敛速率为 $O(\sqrt{\log N / (Nh)})$。
• 线性规划问题的解具有稀疏性：仅有少量系数 $\alpha_i$ 非零，且非零系数的数量随 $N$ 的增长至多以对数方式增长。
• 估计器具有一致性：对几乎所有 $\omega$，当 $N$ 足够大时，对所有 $x \in (0,1)$，均有 $\tilde{f}_N(x) \geq f(x) - O(\sqrt{\log N / (Nh)})$ 成立。
• 估计器的利普希茨常数有界，为 $O(1/h)$，这确保了其光滑性由带宽 $h$ 和核函数的性质所控制。
• 理论界依赖于对经验核和应用伯恩斯坦不等式，通过核函数的有界变差和矩条件控制集中性。
• 该方法对核函数的选择具有鲁棒性，只要核函数满足类似利普希茨的条件 $|K'(t)| \leq \mu K(t)$，即可保证导数增长相对于核值有界。