[论文解读] Polyceptron: A Polyhedral Learning Algorithm

Naresh Manwani, PS Sastry|arXiv (Cornell University)|Jul 8, 2011

Neural Networks and Applications参考文献 6被引用 11

一句话总结

本文提出了一种名为 Polyceptron 的新型多面体学习算法，其灵感源自感知机（Perceptron），通过仅在误分类时迭代更新超平面参数来学习凸多面体分类器。批量版本采用交替优化方法最小化 Polyceptron 准则，相较于 OC1 和 PC-SLP 等现有方法，在多面体可分数据上表现出更优的准确率与速度。

ABSTRACT

In this paper we propose a new algorithm for learning polyhedral classifiers which we call as Polyceptron. It is a Perception like algorithm which updates the parameters only when the current classifier misclassifies any training data. We give both batch and online version of Polyceptron algorithm. Finally we give experimental results to show the effectiveness of our approach.

研究动机与目标

• 开发一种简单而有效的多面体分类器学习算法，能够以几何可解释性方式捕捉凸类别区域。
• 通过设计一种准则，解决多面体学习中的信用分配问题，实现基于误分类的增量参数更新。
• 提出算法的在线与批量变体，其中批量版本采用交替优化方法以优化 Polyceptron 准则。
• 在合成数据集与真实世界数据集上对方法进行实证评估，与 OC1 和 PC-SLP 等成熟方法进行性能对比。

提出的方法

• Polyceptron 算法通过 K 个线性函数的最小值定义分类器：f(x, Θ) = sign(min_k (w_k^T x + b_k))，其中 Θ = {(w_k, b_k)} 表示 K 个超平面的集合。
• 引入一种 Polyceptron 准则，类似于感知机损失，用于根据误分类样本指导参数更新。
• 在线 Polyceptron 仅在训练样本被误分类时更新单个权重向量 (w_k, b_k)，其更新规则模仿标准感知机的更新方式。
• 批量 Polyceptron 采用交替优化方案，通过迭代改进 Polyceptron 准则，联合优化所有超平面参数。
• 当数据为多面体可分时，算法设计为在有限次迭代内收敛，该结论已在合成数据集上得到实证验证。
• 通过聚焦于局部误分类反馈而非所有可能超平面子集的全局优化，该方法避免了信用分配中的组合复杂性。

实验结果

研究问题

• RQ1 能否设计一种类似感知机的算法，以高效方式学习多面体分类器，同时保持几何可解释性？
• RQ2 批量 Polyceptron 算法在 Polyceptron 准则上是否呈现单调收敛？其收敛性能与在线变体相比如何？
• RQ3 在多面体可分数据上，Polyceptron 的性能在准确率、速度与泛化能力方面与 OC1 和 PC-SLP 等最先进方法相比如何？
• RQ4 当数据确实为多面体可分时，在线 Polyceptron 算法是否能在有限次迭代内收敛？其在高维数据上的可扩展性如何？
• RQ5 Polyceptron 方法是否避免了如 PC-SLP 等基于非凸优化方法中存在的组合信用分配计算负担？

主要发现

• 批量 Polyceptron 在准确率与速度上均持续优于 OC1，尤其在高维合成数据集上，OC1 的性能因组合复杂性而显著下降。
• 在乳腺癌与电离层数据集上，批量 Polyceptron 达到了极高的准确率，表明这些数据集接近多面体可分。
• 在线 Polyceptron 在多面体可分数据集上可在有限次迭代内收敛，如图 3 所示，证实其能在有限时间内学习到正确分类器。
• 批量 Polyceptron 的速度至少是 SPLA1 的 1.5 倍，且准确率相当或更优，展现出显著的计算效率。
• Polyceptron 在时间和准确率上均显著优于 PC-SLP，避免了非凸约束优化与组合信用分配带来的计算开销。
• 批量 Polyceptron 在迭代过程中单调降低 Polyceptron 准则，表明其具有稳定且一致的收敛行为。