[论文解读] Manifoldron: Direct Space Partition via Manifold Discovery

Dayang Wang, Fenglei Fan+7 more|arXiv (Cornell University)|Jan 14, 2022

Topological and Geometric Data Analysis被引用 4

一句话总结

Manifoldron 引入了一种非参数化的机器学习模型，通过Delaunay三角剖分、单纯形修剪和包络检测直接从数据中发现潜在流形，从而对输入空间进行划分。该模型在分类和回归任务中表现出色，性能优于或匹配主流模型（如MLP和SVM），尤其在低维和结构化数据设置中表现突出。

ABSTRACT

A neural network with the widely-used ReLU activation has been shown to partition the sample space into many convex polytopes for prediction. However, the parameterized way a neural network and other machine learning models use to partition the space has imperfections, extit{e}. extit{g}., the compromised interpretability for complex models, the inflexibility in decision boundary construction due to the generic character of the model, and the risk of being trapped into shortcut solutions. In contrast, although the non-parameterized models can adorably avoid or downplay these issues, they are usually insufficiently powerful either due to over-simplification or the failure to accommodate the manifold structures of data. In this context, we first propose a new type of machine learning models referred to as Manifoldron that directly derives decision boundaries from data and partitions the space via manifold structure discovery. Then, we systematically analyze the key characteristics of the Manifoldron such as manifold characterization capability and its link to neural networks. The experimental results on 4 synthetic examples, 20 public benchmark datasets, and 1 real-world application demonstrate that the proposed Manifoldron performs competitively compared to the mainstream machine learning models. We have shared our code in \url{https://github.com/wdayang/Manifoldron} for free download and evaluation.

研究动机与目标

• 解决如深度神经网络等参数化模型存在的可解释性差和刚性问题，这些模型依赖固定的决策边界形式，且在大规模场景下难以解释。
• 克服非参数化模型（如k-NN、朴素贝叶斯）因过度简化或未能建模数据内在流形而导致的表达能力不足问题。
• 开发一类新型模型，直接从数据结构中推导决策边界，通过流形感知的空间划分实现可解释性与强泛化能力的结合。
• 通过揭示神经网络与几何空间划分之间的概念联系，表明二者均将空间划分为多面体，但Manifoldron以显式且非参数化的方式实现这一过程。

提出的方法

• 对每个类别的训练数据应用Delaunay三角剖分，构建数据流形的初始几何网格。
• 采用k-最近邻（k-NN）策略执行单纯形修剪，移除受噪声或异常值影响的单纯形，仅保留构成紧凑真实流形包络的单纯形。
• 将每个类别的修剪后单纯形的外层包络作为决策边界，通过判断查询点是否位于单纯形内部或计算其距离实现分类。
• 通过基于查询点与最近单纯形距离的加权平均，将该框架扩展至回归任务。
• 引入特征袋装法和点对点投影，并结合并行计算，降低训练和推理过程中的计算成本。
• 利用KD-trees在修剪和推理过程中实现高效的邻居搜索，提升中等规模数据集的可扩展性。

Figure 1 : (a) The pipeline of the proposed Manifoldron. In the training stage, Delaunay triangulation, simplex trimming, and envelope detection are sequentially performed to identify the manifold structure of data and establish decision boundaries. In the test stage, we classify new points based on

实验结果

研究问题

• RQ1 是否存在一种机器学习模型能够直接从数据的内在流形结构中推导出决策边界，而无需依赖参数化函数逼近？
• RQ2 此类基于流形的模型在准确率和效率方面与主流参数化模型（如MLP、SVM、随机森林）相比表现如何？
• RQ3 Manifoldron在保持可解释性和鲁棒性的前提下，能够在多大程度上捕捉复杂非线性数据流形？
• RQ4 Manifoldron的空间划分机制与基于ReLU的神经网络之间存在何种关系，特别是在多面体划分方面？
• RQ5 Manifoldron的性能对超参数（如修剪过程中使用的邻居数量）是否敏感？该敏感性能否得到缓解？

主要发现

• 在20个公开基准数据集上，Manifoldron的性能与SOTA模型（如MLP、SVM、XGBoost）相当或更优，尤其在低维和结构化数据中表现卓越。
• 在六个基本函数的回归任务中，Manifoldron在其中四个函数上取得了最低的均方误差（MSE），在$f_2$上达到最佳MSE 0.006，优于KNNR和GPR。
• 该模型在真实世界的生物数据集（基因表达谱分析）上表现出强泛化能力，证明其在合成与基准任务之外的实际应用价值。
• Manifoldron在$f_1$（MSE=0.101）和$f_3$（MSE=0.095）上取得最低MSE，在$f_4$上位列第二（MSE=0.975），仅低于MLP，表明其具备强大的拟合能力。
• 尽管为非参数模型，Manifoldron在包含数万个样本和数百个特征的数据集上仍实现了可接受的推理时间，得益于特征袋装法和并行计算。
• 该模型性能对修剪过程中使用的邻居数量较为敏感，凸显了未来提升鲁棒性需解决的关键超参数挑战。

Figure 2 : The scheme of proving the universal boundary approximation theorem.