[论文解读] Dual Regression

Richard H. Spady, Sami Stouli|arXiv (Cornell University)|Oct 25, 2012

Statistical Methods and Inference参考文献 5被引用 7

一句话总结

本文提出双回归（dual regression）作为一种新颖方法，用于估计条件分布函数，避免了分位数回归中常见的分位数曲面交叉问题。通过将估计问题表述为同时线性位置-尺度模型的数学规划对偶问题，该方法在最小正则性假设下实现了稳定一致的非交叉分布估计，并建立了完整的渐近理论，适用于经验过程。

ABSTRACT

We propose dual regression as an alternative to the quantile regression process for the global estimation of conditional distribution functions under minimal assumptions. Dual regression provides all the interpretational power of the quantile regression process while avoiding the need for repairing the intersecting conditional quantile surfaces that quantile regression often produces in practice. Our approach introduces a mathematical programming characterization of conditional distribution functions which, in its simplest form, is the dual program of a simultaneous estimator for linear location-scale models. We apply our general characterization to the specification and estimation of a flexible class of conditional distribution functions, and present asymptotic theory for the corresponding empirical dual regression process.

研究动机与目标

• 解决分位数回归中条件分位数曲面交叉的问题，该问题会损害结果的可解释性。
• 在弱正则性条件下，开发一种全局一致的方法来估计条件分布函数。
• 提供一个数学规划框架，将条件分布函数表征为同时估计器的对偶形式。
• 在一类灵活的模型中，建立经验双回归过程的渐近理论。
• 实现稳健的非交叉条件分布估计，而无需复杂的后处理步骤。

提出的方法

• 双回归将条件分布函数的估计表述为线性位置-尺度模型的联合估计器的对偶规划问题。
• 利用数学规划中的对偶性，避免了修复交叉分位数曲面的需要。
• 该方法适用于通过非参数或半参数设定的灵活条件分布函数类。
• 该方法通过构造确保估计的条件分布具有单调性且不交叉。
• 为经验双回归过程建立了渐近理论，证明了其一致性和弱收敛性。
• 该框架允许在最小正则性假设下实现高效估计与推断。

实验结果

研究问题

• RQ1 双回归的对偶形式能否提供一种一致且非交叉的替代方法，用于估计条件分布函数，从而取代分位数回归？
• RQ2 如何利用数学规划对偶性来表征条件分布函数，而无需修复交叉的分位数曲面？
• RQ3 在何种正则性条件下，双回归过程具有一致性和渐近有效性？
• RQ4 与标准分位数回归相比，双回归在估计灵活类别的条件分布函数方面表现如何？
• RQ5 双回归框架能否支持经验过程的完整渐近理论？

主要发现

• 双回归通过构造本身消除了对交叉分位数曲面进行事后修复的需要，确保了估计条件分布的单调性。
• 该方法提供了一个数学上严谨的对偶形式，对应于线性位置-尺度模型的联合估计器。
• 在最小正则性假设下，经验双回归过程被证明是一致且弱收敛的。
• 该方法支持在不施加强参数限制的情况下，对灵活类别的条件分布函数进行估计。
• 对偶形式确保了条件分布函数的全局估计，其可解释性与分位数回归相当，但避免了其关键的实际缺陷。
• 已建立渐近理论，支持对估计分布函数的有效推断与假设检验。