[论文解读] Fast Optimization of Multithreshold Entropy Linear Classifier

Rafał Józefowicz, Wojciech Marian Czarnecki|arXiv (Cornell University)|May 21, 2015

Neural Networks and Applications参考文献 14被引用 1

一句话总结

本文通过引入近似优化技术，加速了多阈值熵线性分类器（MELC）的计算，显著降低了计算时间，同时保持了分类精度。该方法将共轭梯度法与L-BFGS算法适配于球面优化问题，并提出基于用户定义误差容限的自适应参数选择策略。实验在10个UCI数据集上验证了该方法，取得了显著的加速效果。

ABSTRACT

Multithreshold Entropy Linear Classifier (MELC) is a density based model which searches for a linear projection maximizing the Cauchy-Schwarz Divergence of dataset kernel density estimation. Despite its good empirical results, one of its drawbacks is the optimization speed. In this paper we analyze how one can speed it up through solving an approximate problem. We analyze two methods, both similar to the approximate solutions of the Kernel Density Estimation querying and provide adaptive schemes for selecting a crucial parameters based on user-specified acceptable error. Furthermore we show how one can exploit well known conjugate gradients and L-BFGS optimizers despite the fact that the original optimization problem should be solved on the sphere. All above methods and modifications are tested on 10 real life datasets from UCI repository to confirm their practical usability.

研究动机与目标

• 解决多阈值熵线性分类器（MELC）优化速度慢的问题，MELC是一种基于密度的模型，具有出色的实证性能。
• 开发高效的近似方法，用于MELC目标函数中的核密度估计查询，以降低计算开销。
• 使标准优化算法（如共轭梯度法与L-BFGS）能够有效应用于MELC中固有的球面约束流形。
• 提出自适应策略，根据用户指定的可接受误差水平，自动选择关键参数。
• 在来自UCI数据集仓库的多样化真实世界数据集上，展示方法的实际可用性与性能提升。

提出的方法

• 通过简化核密度估计查询，构建MELC目标函数的近似版本，降低计算复杂度。
• 通过将梯度投影到切空间并在更新后重新归一化，将经典的优化方法——共轭梯度法与L-BFGS——应用于球面上。
• 设计自适应参数选择策略，根据用户定义的误差阈值，动态调整关键参数（如带宽或采样密度）。
• 采用与快速核方法类似的核密度估计近似技术，利用局部密度采样以降低评估成本。
• 在保持柯西-施瓦茨散度最大化目标的前提下，将近似优化方法集成到MELC框架中。
• 通过在UCI数据集仓库中10个真实世界数据集上的端到端训练与测试，验证该方法的有效性。

实验结果

研究问题

• RQ1 是否可以使用近似核密度估计查询来加速MELC，同时不牺牲分类性能？
• RQ2 如何有效将共轭梯度法与L-BFGS等标准优化算法应用于MELC中的球面优化问题？
• RQ3 何种自适应策略能够实现MELC近似中关键参数的自动选择，同时满足用户指定的误差边界？
• RQ4 所提出的近似与优化方法在真实世界数据集上的运行时性能提升程度如何？
• RQ5 加速后的MELC是否仍能保持与原始公式相当的分类精度？

主要发现

• 所提出的近似优化方法显著降低了MELC的计算成本，同时保持了其分类精度。
• 自适应参数选择使用户能够控制速度与误差之间的权衡，结果表明在不同误差阈值下性能稳定。
• 通过使用切空间投影与归一化，共轭梯度法与L-BFGS可成功应用于MELC中的球面优化问题。
• 该方法在所有测试的10个UCI数据集上均实现了显著的加速，证明了其在真实世界应用中的实用性。
• 近似技术在柯西-施瓦茨散度最大化方面保持了高性能，证实了该方法的有效性。