[论文解读] Best Principal Submatrix Selection for the Maximum Entropy Sampling Problem: Scalable Algorithms and Performance Guarantees

Yongchun Li, Weijun Xie|arXiv (Cornell University)|Jan 23, 2020

Sparse and Compressive Sensing Techniques参考文献 59被引用 4

一句话总结

本文提出了针对最大熵采样问题（MESP）及其A-最优性变体（A-MESP）的可扩展近似算法，并提供了可证明的性能保证。通过利用拉格朗日对偶松弛和原始特征刻画，推导出一种新颖的凸整数规划，作者开发了一种采样算法，其近似界得到改进，并首次证明了局部搜索算法的近似比。所有结果均通过大规模实例的广泛数值实验得到验证。

ABSTRACT

This paper studies a classic maximum entropy sampling problem (MESP), which aims to select the most informative principal submatrix of a prespecified size from a covariance matrix. MESP has been widely applied to many areas, including healthcare, power system, manufacturing and data science. By investigating its Lagrangian dual and primal characterization, we derive a novel convex integer program for MESP and show that its continuous relaxation yields a near-optimal solution. The results motivate us to study an efficient sampling algorithm and develop its approximation bound for MESP, which improves the best-known bound in literature. We then provide an efficient deterministic implementation of the sampling algorithm with the same approximation bound. By developing new mathematical tools for the singular matrices and analyzing the Lagrangian dual of the proposed convex integer program, we investigate the widely-used local search algorithm and prove its first-known approximation bound for MESP. The proof techniques further inspire us with an efficient implementation of the local search algorithm. Our numerical experiments demonstrate that these approximation algorithms can efficiently solve medium-sized and large-scale instances to near-optimality. Our proposed algorithms are coded and released as open-source software. Finally, we extend the analyses to the A-Optimal MESP (A-MESP), where the objective is to minimize the trace of the inverse of the selected principal submatrix.

研究动机与目标

• 为最大熵采样问题（MESP）开发可扩展的近似算法，并提供理论性能保证。
• 通过拉格朗日对偶松弛和原始特征刻画，推导MESP的新凸整数规划公式。
• 改进MESP中基于采样的算法的最佳已知近似界。
• 首次建立MESP中局部搜索算法的近似比。
• 将分析扩展至A-最优MESP（A-MESP），目标是最小化所选子矩阵的逆矩阵的迹。

提出的方法

• 利用拉格朗日对偶松弛和原始特征刻画，为MESP推导一种新颖的凸整数规划。
• 基于该凸整数规划的连续松弛，开发一种采样算法，并进行理论近似界分析。
• 证明一种新的采样算法近似界，优于文献中已知的最佳界。
• 通过奇异矩阵分析与拉格朗日对偶理论推导的新局部最优性条件，分析局部搜索算法。
• 通过弱对偶性与矩阵扰动工具，首次建立MESP中局部搜索算法的近似比。
• 通过构建新凸整数规划并研究其体积采样与局部搜索的近似比，将所有分析扩展至A-MESP。

实验结果

研究问题

• RQ1 能否通过拉格朗日对偶性与原始特征刻画，为MESP推导出一种凸整数规划公式，以支持可扩展的近似算法？
• RQ2 所提出的采样算法的理论近似界是什么？能否优于文献中已知的最佳界？
• RQ3 能否利用针对奇异矩阵的新数学工具，首次建立MESP中局部搜索算法的近似比？
• RQ4 所提出的算法在大规模MESP与A-MESP实例上的实际表现如何？
• RQ5 分析能否扩展至A-最优MESP（A-MESP）？体积采样与局部搜索的相应近似界是什么？

主要发现

• 所提出的采样算法在MESP中实现了改进的近似界，优于文献中已知的最佳界。
• 首次证明了MESP中局部搜索算法的近似比，其界为 s/2 + δ−1 min{λmax(C), nδ + (n − s)λmax(C)}。
• 数值实验表明，局部搜索算法始终能获得接近最优的解，优于其他方法。
• 采样算法以确定性方式高效实现，同时保持相同的近似保证。
• 对于A-MESP，体积采样算法实现了 min(s, n − s + 1)-近似比。
• 所提出的算法已开源，并在中等及大规模实例上表现出色，包括在 n = 90 的实例上求解至近似最优。