[论文解读] A DCA-Like Algorithm and its Accelerated Version with Application in Data Visualization

Hoai An Le Thi, Hoai Minh Le+2 more|arXiv (Cornell University)|Jun 25, 2018

Neural Networks and Applications参考文献 14被引用 3

一句话总结

本论文提出了DCA-Like与加速DCA-Like两种新型差异凸函数算法（DCA）变体，用于求解约束型可微与复合函数之和的最小化问题。通过迭代更新Lipschitz常数参数μ以改善主要化逼近，DCA-Like在无需准确估计L的情况下实现了更快的收敛速度；而加速DCA-Like进一步通过Nesterov加速技术提升收敛速度。该方法在标准DCA基础上，收敛速度最快提升9.2倍，并在6个基准数据集中的4个上实现了更优的目标函数值，包括t-SNE可视化任务。

ABSTRACT

In this paper, we present two variants of DCA (Different of Convex functions Algorithm) to solve the constrained sum of differentiable function and composite functions minimization problem, with the aim of increasing the convergence speed of DCA. In the first variant, DCA-Like, we introduce a new technique to iteratively modify the decomposition of the objective function. This successive decomposition could lead to a better majorization and consequently a better convergence speed than the basic DCA. We then incorporate the Nesterov's acceleration technique into DCA-Like to give rise to the second variant, named Accelerated DCA-Like. The convergence properties and the convergence rate under Kudyka-Lojasiewicz assumption of both variants are rigorously studied. As an application, we investigate our algorithms for the t-distributed stochastic neighbor embedding. Numerical experiments on several benchmark datasets illustrate the efficiency of our algorithms.

研究动机与目标

• 为解决标准DCA在目标函数Lipschitz常数L未知或估计不佳时收敛缓慢的问题。
• 开发一种DCA变体，通过动态更新参数μ以改善主要化逼近，从而在无需预先知晓L的情况下加速收敛。
• 将Nesterov的加速技术整合进DCA-Like框架，以进一步提升收敛速度。
• 在Kurdyka-Łojasiewicz（KŁ）假设下，严格分析两种变体的收敛性质与收敛速率。
• 在t分布随机邻域嵌入（t-SNE）上评估所提算法，以展示其在实际数据可视化任务中的高效性与有效性。

提出的方法

• DCA-Like引入了一种迭代μ更新策略，通过调整目标函数的分解方式以实现更优的主要化逼近，即使μ小于真实Lipschitz常数L亦可实现。
• 该方法在每一步均不依赖有效DC分解的情况下，仍能保证收敛至临界点，其依据为问题结构及在KŁ条件下的收敛保证。
• 加速DCA-Like将Nesterov的动量外推技术融入DCA-Like框架，以加速收敛，改善迭代点的下降行为。
• 通过将优化问题重表述为DC规划问题，将算法应用于t-SNE，其中凸子问题可显式求解。
• 在Kurdyka-Łojasiewicz（KŁ）不等式下进行收敛性分析，该不等式可确保有界序列的全局收敛性，并提供收敛速率估计。
• 所提算法与标准DCA及t-SNE中性能最优的Majorization-Minimization（MM）算法进行了比较，结果表明在该场景下MM算法等价于DCA-Like。

实验结果

研究问题

• RQ1 能否设计一种DCA变体，在无需准确估计Lipschitz常数L的情况下实现收敛加速？
• RQ2 在主要化步骤中迭代更新参数μ是否能带来更快的收敛速度与更优的目标函数值？
• RQ3 Nesterov的加速技术能否成功集成到DCA框架中，以进一步提升收敛速度？
• RQ4 在何种条件下，所提出的DCA-Like与加速DCA-Like能实现全局收敛？可建立何种收敛速率？
• RQ5 在真实世界的数据可视化任务（如t-SNE）中，DCA-Like与加速DCA-Like相较于现有最先进方法的实际表现如何？

主要发现

• 与标准DCA相比，DCA-Like在6个基准数据集上迭代次数减少3至11.5倍，计算时间提升1.9至9.2倍。
• 在6个数据集中的4个（letters、shuttle、miniboone、covertype）上，DCA-Like取得比标准DCA更低的目标函数值，其余两个数据集上性能相当。
• 与DCA-Like相比，加速DCA-Like迭代次数减少1.8至5倍，计算时间提速1.5至5倍。
• 在6个数据集中的5个上，ADCA-Like取得最优目标函数值，其解的质量优于DCA与DCA-Like。
• 数值结果表明，t-SNE中使用的MM算法在该优化问题中等价于将DCA-Like应用于t-SNE问题。
• 在MNIST数据集上的t-SNE可视化中，三种算法（DCA、DCA-Like、ADCA-Like）均能良好保持数据结构，其中ADCA-Like收敛最快且目标函数值最优。