[论文解读] Cardinality Minimization, Constraints, and Regularization: A Survey

Andreas M. Tillmann, Daniel Bienstock+2 more|arXiv (Cornell University)|Jun 17, 2021

Multi-Criteria Decision Making被引用 10

一句话总结

本综述统一并回顾了涉及连续变量的基数约束或正则化的优化问题，强调混合整数规划（MIP）是一种强大且可证明准确的稀疏解求解方法。研究表明，当结合问题特定的洞察时，MIP 能够高效求解信号处理、金融和机器学习等多个领域中的大规模基数最小化问题。

ABSTRACT

We survey optimization problems that involve the cardinality of variable vectors in constraints or the objective function. We provide a unified viewpoint on the general problem classes and models, and give concrete examples from diverse application fields such as signal and image processing, portfolio selection, or machine learning. The paper discusses general-purpose modeling techniques and broadly applicable as well as problem-specific exact and heuristic solution approaches. While our perspective is that of mathematical optimization, a main goal of this work is to reach out to and build bridges between the different communities in which cardinality optimization problems are frequently encountered. In particular, we highlight that modern mixed-integer programming, which is often regarded as impractical due to commonly unsatisfactory behavior of black-box solvers applied to generic problem formulations, can in fact produce provably high-quality or even optimal solutions for cardinality optimization problems, even in large-scale real-world settings. Achieving such performance typically draws on the merits of problem-specific knowledge that may stem from different fields of application and, e.g., shed light on structural properties of a model or its solutions, or lead to the development of efficient heuristics; we also provide some illustrative examples.

研究动机与目标

• 统一并系统化关于连续变量基数出现在目标函数或约束中的多样化文献。
• 弥合不同领域（如信号处理、金融和机器学习）之间的差距，这些领域以不同名称研究类似的基数问题，且方法论各异。
• 倡导将现代混合整数规划（MIP）作为基数约束优化中启发式方法的可行、精确且高质量的替代方案。
• 强调问题特定的结构知识可显著提升 MIP 求解器的性能，即使在大规模问题上也能实现可证明最优或近似最优解。
• 识别尚未充分探索的研究方向，并推动跨应用和数据情境的算法实现比较研究。

提出的方法

• 本文将基数问题分类为三种核心类型：基数最小化（ℓ₀-min）、基数约束优化（ℓ₀-cons）和正则化基数问题（ℓ₀-reg），每类均以数学约束和目标函数形式形式化。
• 综述了将基数纳入优化的一般建模技术，包括大 M 法和指示约束，并讨论其优势与局限性。
• 强调利用问题特定知识（如解的结构、稀疏模式或原问题的凸性）来提升 MIP 性能，实现可扩展性。
• 回顾了精确方法（如分支定界、Benders 分解）和启发式方法（如 ℓ₁ 松弛、贪心算法），比较其在解质量与计算开销之间的权衡。
• 主张在定制化公式上使用现成的 MIP 求解器，表明通过适当的重构和有效切割，这些求解器在解质量上可超越启发式方法。
• 强调稀疏性（小 k）和原问题的凸性（排除 ℓ₀ 项）可显著提升精确 MIP 方法的可扩展性和可处理性。

实验结果

研究问题

• RQ1 如何在信号处理、金融和机器学习等多样化应用领域中，系统性地统一基数约束和正则化优化问题？
• RQ2 现代混合整数规划（MIP）求解器在多大程度上能为大规模基数问题提供可证明最优或高质量解，尤其是在与启发式方法比较时？
• RQ3 问题特定的结构知识在提升基于 MIP 的基数优化求解方法性能方面发挥什么作用？
• RQ4 为何现有计算研究往往缺乏对算法之间的公平且全面的比较，这种缺陷如何阻碍该领域的发展？
• RQ5 基数优化中的关键开放研究方向是什么？这些方向如何受益于跨学科知识转移和标准化基准测试？

主要发现

• 现代混合整数规划（MIP）即使在黑箱求解器对通用公式失效时，也能为大规模基数优化问题生成可证明最优或高质量解。
• 问题特定知识（如解的稀疏性（小 k）、原问题的凸性或约束集的结构特性）可显著提升 MIP 求解器的可扩展性和性能。
• 精确 MIP 方法通常对包含数百至数千个变量的问题有效，且在某些情况下可为包含数十万变量的问题提供近似最优解。
• 启发式和松弛方法（如 ℓ₁ 求解器）可处理包含数千至数十万变量的问题，但可能缺乏解质量保证。
• 尽管 MIP 和启发式方法均取得显著进展，但缺乏标准化基准测试和算法间公平比较仍是阻碍领域进步的主要障碍。
• 未来研究在比较性软件基准测试方面具有巨大潜力，同时探索尚未充分开发的算法思想，有望在多个领域同时提升准确性和可扩展性。