[论文解读] Learning-Theoretic Foundations of Algorithm Configuration for Combinatorial Partitioning Problems

Maria-Florina Balcan, Vaishnavh Nagarajan+2 more|arXiv (Cornell University)|Nov 14, 2016

Complexity and Algorithms in Graphs参考文献 27被引用 8

一句话总结

本文为组合分割问题（如最大割和聚类）中的算法配置建立了学习理论基础。提出了一类计算高效且样本高效的机器学习算法，通过在应用特定的输入分布上最小化期望成本，从基于SDP的舍入方法和凝聚聚类方法家族中选择最优算法，其伪维数界紧致，表明即使对于单参数家族，复杂度也出人意料地高。

ABSTRACT

Max-cut, clustering, and many other partitioning problems that are of significant importance to machine learning and other scientific fields are NP-hard, a reality that has motivated researchers to develop a wealth of approximation algorithms and heuristics. Although the best algorithm to use typically depends on the specific application domain, a worst-case analysis is often used to compare algorithms. This may be misleading if worst-case instances occur infrequently, and thus there is a demand for optimization methods which return the algorithm configuration best suited for the given application's typical inputs. We address this problem for clustering, max-cut, and other partitioning problems, such as integer quadratic programming, by designing computationally efficient and sample efficient learning algorithms which receive samples from an application-specific distribution over problem instances and learn a partitioning algorithm with high expected performance. Our algorithms learn over common integer quadratic programming and clustering algorithm families: SDP rounding algorithms and agglomerative clustering algorithms with dynamic programming. For our sample complexity analysis, we provide tight bounds on the pseudodimension of these algorithm classes, and show that surprisingly, even for classes of algorithms parameterized by a single parameter, the pseudo-dimension is superconstant. In this way, our work both contributes to the foundations of algorithm configuration and pushes the boundaries of learning theory, since the algorithm classes we analyze consist of multi-stage optimization procedures and are significantly more complex than classes typically studied in learning theory.

研究动机与目标

• 解决NP难分割问题（如最大割和聚类）中，最坏情况算法分析与实际性能之间的不匹配问题。
• 设计基于学习理论的算法，为给定的应用特定输入分布选择表现最佳的算法。
• 分析无限算法类（包括基于SDP的舍入和使用动态规划的凝聚聚类）的伪维数，以建立样本和计算效率的理论基础。
• 为学习组合优化中最佳算法配置的样本复杂度提供紧致界。
• 证明即使单参数算法家族的伪维数也可为超常数，从而挑战学习理论中的既有假设。

提出的方法

• 将应用领域建模为问题实例的分布，并定义一个成本函数，用于衡量算法在这些实例上的性能。
• 分析算法类的伪维数，通过在区间上构造具有振荡成本函数的案例，证明即使对于单参数家族，其伪维数也超常数。
• 设计一种经验风险最小化（ERM）算法，通过采样实例并评估在成本函数发生变化的关键α值处的性能，利用分段常数行为进行分析。
• 对于基于SDP的算法，使用由α参数化的随机舍入过程；对于聚类问题，使用由α参数化的动态规划凝聚聚类方法。
• 通过求解涉及平均距离的α次幂的方程，识别成本函数的不连续点，并在这些点之间的区间内评估性能。
• 基于伪维数进行样本复杂度分析，以保证在n、1/ε和1/δ的多项式有界样本下实现(ε,δ)-学习。

实验结果

研究问题

• RQ1 我们能否设计出高效配置分割算法的学习算法，以适应应用特定的输入分布，而非依赖于最坏情况分析？
• RQ2 诸如SDP舍入和使用动态规划的凝聚聚类等无限组合优化算法家族的伪维数是多少？
• RQ3 当算法由单个实值参数化时，算法配置的复杂度如何随输入规模增长？
• RQ4 我们能否在max-cut和聚类等NP难问题中，实现学习最优算法配置的样本和计算效率？
• RQ5 作用于算法参数的成本函数的何种结构特性，能够实现高效的经验证据风险最小化？

主要发现

• 即使参数化为单个实数参数，基于SDP的舍入和凝聚聚类算法家族的伪维数仍为超常数，表明其学习复杂度极高。
• 本文构建了聚类实例，其中成本函数随参数α振荡达2^N次，证明伪维数至少为Ω(n)。
• 对于使用动态规划的凝聚聚类，算法实现(ε,δ)-学习，样本复杂度为O(((H/ε)^2)(n + log(1/δ)))。
• 针对𝒜₂的ERM算法识别出成本函数发生变化的关键α值，对参数空间进行划分，并在区间内评估性能，从而确保最优的经验配置。
• 分析表明，即使是对真实聚类的对称距离，其成本函数也可振荡达2^N次，证明在现实成本函数下伪维数极高。
• 研究结果为组合优化中的算法配置提供了基础性保障，将学习理论扩展至多阶段优化过程。