[论文解读] Distributionally Robust Local Non-parametric Conditional Estimation

Viêt Anh Nguyên, Fan Zhang+3 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Statistical Methods and Models被引用 6

一句话总结

本文提出了一种分布鲁棒的局部非参数估计器，通过在Wasserstein模糊集中最小化最坏情况下的条件期望损失，实现了在数据污染和异质性条件下的鲁棒条件估计。该方法利用凸优化技术，即使在样本量较低的情况下也能高效计算估计值，在合成数据和MNIST数据上表现出色。

ABSTRACT

Conditional estimation given specific covariate values (i.e., local conditional estimation or functional estimation) is ubiquitously useful with applications in engineering, social and natural sciences. Existing data-driven non-parametric estimators mostly focus on structured homogeneous data (e.g., weakly independent and stationary data), thus they are sensitive to adversarial noise and may perform poorly under a low sample size. To alleviate these issues, we propose a new distributionally robust estimator that generates non-parametric local estimates by minimizing the worst-case conditional expected loss over all adversarial distributions in a Wasserstein ambiguity set. We show that despite being generally intractable, the local estimator can be efficiently found via convex optimization under broadly applicable settings, and it is robust to the corruption and heterogeneity of the data. Experiments with synthetic and MNIST datasets show the competitive performance of this new class of estimators.

研究动机与目标

• 解决现有非参数估计器在处理对抗性噪声和小样本量时的局限性。
• 提升在异质性和非平稳数据设置下局部条件估计的可靠性。
• 开发一种数据驱动的估计器，对分布变化和数据污染具有鲁棒性。
• 通过在广泛条件下应用凸优化，实现鲁棒局部估计的高效计算。

提出的方法

• 将局部条件估计问题表述为在Wasserstein模糊集上的最小-最大优化问题。
• 将最坏情况下的条件期望损失定义为需最小化的目标，以确保对对抗性分布的鲁棒性。
• 利用凸优化技术高效计算估计器，尽管一般问题难以求解。
• 通过指定半径的Wasserstein度量，围绕训练数据的经验分布构建模糊集。
• 确保估计器保持非参数特性，并能根据特定协变量值进行局部自适应。
• 利用对偶理论，在较弱正则性条件下将鲁棒优化问题转化为可处理形式。

实验结果

研究问题

• RQ1 在小样本条件下，能否使非参数局部估计器对对抗性噪声和数据异质性具有鲁棒性？
• RQ2 如何在最小假设下正式将分布鲁棒性融入局部条件估计？
• RQ3 在实际中，求解所得鲁棒优化问题的计算可行性如何？
• RQ4 在数据污染条件下，该估计器与标准非参数方法相比，在准确性和稳定性方面表现如何？

主要发现

• 在对抗性噪声下，该估计器在合成数据和MNIST数据集上均显著优于标准非参数方法。
• 该方法在广泛适用的条件下仍保持计算高效且可处理。
• 在无需强参数假设或大样本量的情况下，实现了对数据污染的鲁棒性。
• 该估计器能有效处理异质性和非平稳数据，在小样本条件下优于基线方法。