[论文解读] A Multi-criteria Approach for Fast and Outlier-aware Representative Selection from Manifolds

Mahlagha Sedghi, George Atia+1 more|arXiv (Cornell University)|Mar 12, 2020

Anomaly Detection Techniques and Applications参考文献 37被引用 4

一句话总结

MOSAIC 是一种新颖的多准则方法，用于从位于非线性流形上的高维数据中快速、对异常值敏感地选择代表性样本。它将代表性选择建模为一个凸二次规划问题，在变换空间中最大化全局数据覆盖范围，从而确保多样性、通过基于稀疏性的符合度评分实现对异常值的鲁棒性，并通过基于随机 ADMM 的实现实现可扩展性，在合成数据集和真实世界数据集上的准确率、速度和异常值检测方面优于最先进方法。

ABSTRACT

The problem of representative selection amounts to sampling few informative exemplars from large datasets. This paper presents MOSAIC, a novel representative selection approach from high-dimensional data that may exhibit non-linear structures. Resting upon a novel quadratic formulation, Our method advances a multi-criteria selection approach that maximizes the global representation power of the sampled subset, ensures diversity, and rejects disruptive information by effectively detecting outliers. Through theoretical analyses we characterize the obtained sketch and reveal that the sampled representatives maximize a well-defined notion of data coverage in a transformed space. In addition, we present a highly scalable randomized implementation of the proposed algorithm shown to bring about substantial speedups. MOSAIC's superiority in achieving the desired characteristics of a representative subset all at once while exhibiting remarkable robustness to various outlier types is demonstrated via extensive experiments conducted on both real and synthetic data with comparisons to state-of-the-art algorithms.

研究动机与目标

• 为解决现有代表性选择方法的局限性，包括对非线性数据处理能力差、对异常值敏感、可解释性不足以及依赖单一准则优化（例如仅关注多样性或仅关注信息量）等问题。
• 开发一种方法，以捕捉全局流形结构，而非依赖局部近似或基于图的距离度量。
• 在单一统一框架中同时实现高代表性、多样性以及异常值排斥。
• 提供基于几何泛函分析的数学可解释解法，以提升机器学习中的可解释性。
• 通过基于随机化 ADMM 的实现，实现可扩展部署，保持高性能的同时显著降低运行时间。

提出的方法

• 将代表性选择建模为一个凸二次规划问题，编码每个数据点相对于其他所有点的表征能力，确保全局最优性和初始化无关性。
• 利用编码向量的稀疏性度量来识别并拒绝异常值，其中低稀疏性表明与底层流形结构不一致。
• 采用基于核的方法将数据映射到更高维空间，以更好地捕捉全局流形结构，从而实现非线性表征。
• 应用交替方向乘子法（ADMM）以实现算法扩展，通过随机采样和迭代优化实现在大规模数据集上的快速计算。
• 利用泛函分析推导解的几何解释，将所选代表性样本与变换空间中的最大数据覆盖范围联系起来。
• 提出将数据分解为内点（流形规则点）和异常值的双向分解，从而实现独立的异常值检测作为副产品。

实验结果

研究问题

• RQ1 是否能够通过单一统一框架，在非线性数据中同时实现高代表性、多样性以及对异常值的鲁棒性？
• RQ2 如何在凸优化框架中有效捕捉全局流形结构，以避免依赖局部近似？
• RQ3 在高维非线性数据中，编码向量的稀疏性在多大程度上可作为异常值状态的可靠指标？
• RQ4 基于随机化的可扩展实现能否在保持高准确率的同时，实现相对于精确求解器和现有方法的显著加速？
• RQ5 在高比例的简单或结构化异常值等挑战性条件下，该方法表现如何？

主要发现

• 在瑞士卷数据集上，MOSAIC 在异常值与内点比例为 1:1 时达到 0.930 的最高 F1 分数，显著优于 FDR（0.889）、L1-KPCA（0.907）和 RML（0.828）。
• 在具有结构化自然图像异常值的 Frey 人脸数据集中，随着异常值比例增加，MOSAIC 仍保持强劲性能，而 FDR 及其他方法迅速退化。
• MOSAIC 的基于随机 ADMM 的实现实现了显著加速——运行速度远快于 CVX 和其他求解器，性能与 SSM 相当，但准确率更优。
• 该方法通过异常值检测成功识别图像中的显著区域，在 MSRA-B 数据集上无需任何视觉特定预处理即可生成准确的显著性图。
• 理论分析证实，所选代表性样本在核诱导特征空间中最大化了一个明确定义的数据覆盖概念，为该方法的有效性提供了几何依据。
• 该框架可实现独立的异常值检测，在包括随机、线性相关和结构化异常值在内的多种异常值类型中均表现出稳健性能。