[论文解读] Convex and Non-convex Approaches for Statistical Inference with Class-Conditional Noisy Labels

Hyebin Song, Ran Dai+2 more|arXiv (Cornell University)|Oct 5, 2019

Advanced Statistical Methods and Models被引用 4

一句话总结

本文提出了在类别条件标签噪声下对逻辑回归进行凸与非凸估计的方法，将问题建模为具有潜在真实标签的广义线性模型。在高维情况下，建立了渐近正态性和最小最大最优的 $β$-一致性，其中非凸最大似然估计器在温和条件下实现了更低的渐近方差和全局收敛性。

ABSTRACT

We study the problem of estimation and testing in logistic regression with class-conditional noise in the observed labels, which has an important implication in the Positive-Unlabeled (PU) learning setting. With the key observation that the label noise problem belongs to a special sub-class of generalized linear models (GLM), we discuss convex and non-convex approaches that address this problem. A non-convex approach based on the maximum likelihood estimation produces an estimator with several optimal properties, but a convex approach has an obvious advantage in optimization. We demonstrate that in the low-dimensional setting, both estimators are consistent and asymptotically normal, where the asymptotic variance of the non-convex estimator is smaller than the convex counterpart. We also quantify the efficiency gap which provides insight into when the two methods are comparable. In the high-dimensional setting, we show that both estimation procedures achieve $\\ell_2$-consistency at the minimax optimal $\\sqrt{s\\log p/n}$ rates under mild conditions. Finally, we propose an inference procedure using a de-biasing approach. We validate our theoretical findings through simulations and a real-data example.

研究动机与目标

• 解决在观测标签受类别条件噪声污染时的逻辑回归统计推断问题，这是正样本-未标记样本（PU）学习中的关键挑战。
• 通过比较凸与非凸估计策略，弥合理论最优性与计算可行性之间的差距。
• 在低维情况下建立一致性与渐近正态性，在高维情况下实现 $β$-一致性且达到最小最大最优速率。
• 开发一种去偏程序，以在标签噪声下实现有效推断（例如，置信区间、p值）。
• 为基于非凸似然的估计器提供全局收敛性的理论保证，克服了先前工作中常见的局部最优问题。

提出的方法

• 将标签噪声建模为类别条件的污染过程，其中真实标签以与特征无关的非对称概率随机被破坏。
• 将问题表述为具有潜在真实标签的广义线性模型（GLM），以支持基于似然的推断。
• 提出一种非凸最大似然估计器（MLE），在温和的正则性条件下以高概率实现全局收敛。
• 通过使用代理损失函数开发一种凸松弛方法，以确保计算可行性与高效优化。
• 对正则化估计器应用去偏技术，以构建渐近正态的估计器，支持有效推断。
• 利用节点式Lasso回归构建费雪信息矩阵的近似逆，以支持去偏，利用高维浓度不等式。

实验结果

研究问题

• RQ1 在类别条件标签噪声下，非凸最大似然估计能否实现全局收敛与最优统计效率？
• RQ2 在低维设定下，凸与非凸估计器的渐近方差如何比较？
• RQ3 在 $β$-正则化下，凸与非凸方法在高维情况下的估计速率是什么？
• RQ4 去偏程序能否产生渐近正态的估计器，以支持在标签噪声下的有效推断（例如，置信区间）？
• RQ5 凸与非凸估计器之间的效率差距是多少？在实际中它们何时可比？

主要发现

• 在低维情况下，凸与非凸估计器均一致且渐近正态，其中非凸估计器实现更小的渐近方差。
• 两者的效率差距被量化，表明在相同条件下非凸方法严格更高效。
• 在高维情况下，两种估计器在温和正则性条件下均以 $\sqrt{s\log p/n}$ 的最小最大最优速率实现 $β$-一致性。
• 去偏程序产生渐近正态估计器，支持有效推断，如置信区间与假设检验。
• 非凸MLE以高概率实现全局收敛，解决了先前工作中全局最优解无法保证的关键局限。
• 通过节点式Lasso构建的费雪信息矩阵近似逆在 $\ell_1$ 与 $\ell_2$ 范数下是一致的，支持去偏框架。