[論文レビュー] Best Principal Submatrix Selection for the Maximum Entropy Sampling Problem: Scalable Algorithms and Performance Guarantees

Yongchun Li, Weijun Xie|arXiv (Cornell University)|Jan 23, 2020

Sparse and Compressive Sensing Techniques参考文献 59被引用数 4

ひとこと要約

本稿では、最大エントロピー抽出問題（MESP）およびそのA最適性変種（A-MESP）に対するスケーラブルな近似アルゴリズムを提案し、性能保証を明示する。ラグランジュ双対緩和と原問題の特徴付けを用いて、新たな凸整数計画問題を導出し、近似アルゴリズムの性能を向上させた。また、局所探索アルゴリズムに対する最初に知られる近似比を証明した。これらの結果は、大規模インスタンスを用いた広範な数値実験により検証された。

ABSTRACT

This paper studies a classic maximum entropy sampling problem (MESP), which aims to select the most informative principal submatrix of a prespecified size from a covariance matrix. MESP has been widely applied to many areas, including healthcare, power system, manufacturing and data science. By investigating its Lagrangian dual and primal characterization, we derive a novel convex integer program for MESP and show that its continuous relaxation yields a near-optimal solution. The results motivate us to study an efficient sampling algorithm and develop its approximation bound for MESP, which improves the best-known bound in literature. We then provide an efficient deterministic implementation of the sampling algorithm with the same approximation bound. By developing new mathematical tools for the singular matrices and analyzing the Lagrangian dual of the proposed convex integer program, we investigate the widely-used local search algorithm and prove its first-known approximation bound for MESP. The proof techniques further inspire us with an efficient implementation of the local search algorithm. Our numerical experiments demonstrate that these approximation algorithms can efficiently solve medium-sized and large-scale instances to near-optimality. Our proposed algorithms are coded and released as open-source software. Finally, we extend the analyses to the A-Optimal MESP (A-MESP), where the objective is to minimize the trace of the inverse of the selected principal submatrix.

研究の動機と目的

• 最大エントロピー抽出問題（MESP）に対するスケーラブルな近似アルゴリズムを理論的性能保証とともに開発すること。
• ラグランジュ双対緩和と原問題の特徴付けを用いて、MESPの新しい凸整数計画問題の定式化を導出すること。
• MESPにおけるサンプリングベースのアルゴリズムの、既存で最も良い近似境界を改善すること。
• MESPにおける局所探索アルゴリズムに対する最初に知られる近似比を確立すること。
• 選択された部分行列の逆行列のトレースを最小化することを目的とするA最適MESP（A-MESP）への分析の拡張。

提案手法

• ラグランジュ双対緩和と原問題の特徴付けを用いて、MESPの新しい凸整数計画問題を導出する。
• 凸整数計画問題の連続緩和に基づくサンプリングアルゴリズムを開発し、理論的近似境界の分析を実施する。
• 文献で知られている既存の最良の境界を上回る、サンプリングアルゴリズムの新たな近似境界を証明する。
• 特異行列解析とラグランジュ双対理論から導かれる新しい局所最適性条件を用いて、局所探索アルゴリズムを分析する。
• 弱双対性と行列摂動の道具を用いて、MESPにおける局所探索アルゴリズムの最初に知られる近似比を確立する。
• A-MESPへのすべての分析を拡張し、新しい凸整数計画問題を定式化し、体積サンプリングと局所探索のそれぞれの近似比を検討する。

実験結果

リサーチクエスチョン

• RQ1 ラグランジュ双対性と原問題の特徴付けを用いて、MESPの凸整数計画問題の定式化を導出できるか。これによりスケーラブルな近似アルゴリズムが可能になるか。
• RQ2 提案されたサンプリングアルゴリズムの理論的近似境界は何か。また、文献で知られている既存の最良の境界を上回ることができるか。
• RQ3 特異行列に対する新しい数学的道具を用いて、MESPにおける局所探索アルゴリズムの最初に知られる近似比を確立できるか。
• RQ4 提案されたアルゴリズムは、実際の大規模なMESPおよびA-MESPインスタンスにおいて、どのように性能を発揮するか。
• RQ5 分析をA最適MESP（A-MESP）に拡張できるか。また、体積サンプリングと局所探索の対応する近似境界は何か。

主な発見

• 提案されたサンプリングアルゴリズムは、文献で知られている最良の境界を上回る、改善された近似境界をMESPで達成した。
• MESPにおける局所探索アルゴリズムの最初に知られる近似比が証明され、その境界は s/2 + δ−1 min{λmax(C), nδ + (n − s)λmax(C)} である。
• 数値実験を通じて、局所探索アルゴリズムが一貫して近最適解を生成することが示され、他の手法を上回った。
• サンプリングアルゴリズムは、同じ近似保証を維持しながら、決定論的な方法で効率的に実装可能である。
• A-MESPでは、体積サンプリングアルゴリズムが min(s, n − s + 1)-近似比を達成した。
• 提案されたアルゴリズムはオープンソース化されており、n = 90 のインスタンスでほぼ最適解が得られるなど、中規模および大規模インスタンスにおいて優れた性能を示した。