[论文解读] Decontamination of Mutual Contamination Models

Julian Katz-Samuels, Gilles Blanchard+1 more|arXiv (Cornell University)|Sep 30, 2017

Machine Learning and Data Classification参考文献 43被引用 15

一句话总结

本文提出了一套统一框架，用于去噪相互污染模型——即数据是未知基础分布的混合体——通过识别并估计来自污染样本的真实基础分布。该框架建立了可识别性条件，并为带有标签噪声的多分类、混合成员模型和部分标签分类问题提供了具有有限样本性能保证的算法。

ABSTRACT

Many machine learning problems can be characterized by mutual contamination models. In these problems, one observes several random samples from different convex combinations of a set of unknown base distributions and the goal is to infer these base distributions. This paper considers the general setting where the base distributions are defined on arbitrary probability spaces. We examine three popular machine learning problems that arise in this general setting: multiclass classification with label noise, demixing of mixed membership models, and classification with partial labels. In each case, we give sufficient conditions for identifiability and present algorithms for the infinite and finite sample settings, with associated performance guarantees.

研究动机与目标

• 解决机器学习中从混合污染数据样本中恢复真实基础分布的挑战。
• 在统一的理论框架下整合三个关键问题——带有标签噪声的多分类、混合成员模型和部分标签分类。
• 在不依赖参数假设的前提下，建立任意概率空间中基础分布可识别性的充分条件。
• 为无限样本和有限样本设置开发算法，并提供理论性能保证。
• 提出一种通用的去噪方法，适用于具有噪声或不完整监督的实际问题。

提出的方法

• 将相互污染模型形式化为线性混合：$\tilde{\bm{P}} = \bm{\Pi} \bm{P}$，其中$\tilde{P}_i$为观测到的污染分布，$P_j$为未知的基础分布。
• 使用ResidueHat估计器通过在候选分布上最小化基于残差的目标函数来恢复基础分布。
• 引入VertexTest算法，通过顶点查找过程识别哪些估计分布对应于实际的基础分布。
• 利用谱支持估计在真实数据集中经验验证联合不可约性假设。
• 应用并集界和集中性论证，证明估计的混合结构$\widehat{\kappa}_{i,j}$随着样本量增加而收敛到真实结构$\kappa_{i,j}$。
• 在联合不可约性和线性无关性条件下，证明DemixHat算法的一致性，确保估计的基础分布收敛到真实分布。

实验结果

研究问题

• RQ1 在非参数设置下，基于混合污染样本，真实基础分布在何种条件下可被唯一识别？
• RQ2 当混合矩阵未知时，如何在有限样本下一致地解决去噪问题？
• RQ3 所提出的算法在带有标签噪声的多分类中，能在多大程度上恢复真实基础分布？
• RQ4 该框架能否在具有理论保证的前提下应用于混合成员模型和部分标签分类？
• RQ5 有何实证证据支持真实世界数据集中识别性所必需的联合不可约性假设？

主要发现

• 本文证明，基础分布的联合不可约性是相互污染模型中可识别性的充分条件。
• DemixHat算法一致地估计基础分布$\widehat{Q}_i$，使得随着样本量增加，高概率下有$\sup_E |\widehat{Q}_i(E) - P_{\sigma(i)}(E)| < \delta$。
• 在MNIST、Iris和乳腺癌数据集上的实证结果表明，$\Pr_{\bm{x} \sim P_i}(\bm{x} \in \cup_{j \neq i} \widehat{S}_j)$ 显著小于1（例如，0.08–0.38），支持联合不可约性假设。
• 在大样本极限下，VertexTest算法能以高概率正确识别基础分布，前提是混合结构可被恢复。
• 理论保证表明，随着$\bm{n} \to \infty$，估计的混合结构$\widehat{\kappa}_{i,j}$与真实结构$\kappa_{i,j}$匹配的概率趋于1。
• 该框架通过消除参数假设并将理论推广至任意概率空间，推广了现有的主题建模理论。