[논문 리뷰] Best Principal Submatrix Selection for the Maximum Entropy Sampling Problem: Scalable Algorithms and Performance Guarantees

Yongchun Li, Weijun Xie|arXiv (Cornell University)|2020. 01. 23.

Sparse and Compressive Sensing Techniques참고 문헌 59인용 수 4

한 줄 요약

이 논문은 최대 엔트로피 샘플링 문제(MESP)와 그 A-최적성 변형(A-MESP)에 대해 확장 가능한 근사 알고리즘을 제안하며, 이는 이론적 성능 보장을 갖춘다. 라그랑주 이중 풀이와 원본 특성 분석을 통해 새로운 볼록 정수계획법을 유도함으로써, 저자들은 개선된 근사 한계를 갖는 샘플링 알고리즘을 개발하고, 국소 탐색 알고리즘에 대해 처음으로 알려진 근사 비율을 증명하였다. 이 모든 것은 대규모 인스턴스에 대한 광범위한 수치 실험을 통해 검증되었다.

ABSTRACT

This paper studies a classic maximum entropy sampling problem (MESP), which aims to select the most informative principal submatrix of a prespecified size from a covariance matrix. MESP has been widely applied to many areas, including healthcare, power system, manufacturing and data science. By investigating its Lagrangian dual and primal characterization, we derive a novel convex integer program for MESP and show that its continuous relaxation yields a near-optimal solution. The results motivate us to study an efficient sampling algorithm and develop its approximation bound for MESP, which improves the best-known bound in literature. We then provide an efficient deterministic implementation of the sampling algorithm with the same approximation bound. By developing new mathematical tools for the singular matrices and analyzing the Lagrangian dual of the proposed convex integer program, we investigate the widely-used local search algorithm and prove its first-known approximation bound for MESP. The proof techniques further inspire us with an efficient implementation of the local search algorithm. Our numerical experiments demonstrate that these approximation algorithms can efficiently solve medium-sized and large-scale instances to near-optimality. Our proposed algorithms are coded and released as open-source software. Finally, we extend the analyses to the A-Optimal MESP (A-MESP), where the objective is to minimize the trace of the inverse of the selected principal submatrix.

연구 동기 및 목표

• 최대 엔트로피 샘플링 문제(MESP)에 대해 확장 가능한 근사 알고리즘과 이론적 성능 보장을 제공하는 것.
• 라그랑주 이중 풀이와 원본 특성 분석을 통해 MESP에 대한 새로운 볼록 정수계획법 공식을 도출하는 것.
• MESP에서 샘플링 기반 알고리즘의 최고 알려진 근사 한계를 향상시키는 것.
• MESP에서 국소 탐색 알고리즘에 대해 처음으로 알려진 근사 비율을 확립하는 것.
• 선택된 부분행렬의 역행렬의 트레이스를 최소화하는 것을 목표로 하는 A-최적 MESP(A-MESP)로 분석을 확장하는 것.

제안 방법

• 라그랑주 이중 풀이와 원본 특성 분석을 사용하여 MESP에 대한 새로운 볼록 정수계획법을 유도하는 것.
• 볼록 정수계획법의 연속적 풀이 기반 샘플링 알고리즘 개발 및 이론적 근사 한계 분석.
• 기존 문헌에서 알려진 최고의 한계를 초월하는 샘플링 알고리즘의 새로운 근사 한계를 증명하는 것.
• 특이 행렬 분석과 라그랑주 이중 이론에서 유도된 새로운 국소 최적성 조건을 사용하여 국소 탐색 알고리즘을 분석하는 것.
• 약한 이중성과 행렬 섭동 도구를 통해 MESP에서 국소 탐색 알고리즘에 대해 처음으로 알려진 근사 비율을 확립하는 것.
• 새로운 볼록 정수계획법을 제안하고, 볼륨 샘플링과 국소 탐색의 근사 비율을 연구함으로써 A-MESP로 모든 분석을 확장하는 것.

실험 결과

연구 질문

• RQ1 라그랑주 이중성과 원본 특성 분석을 통해 MESP에 대한 볼록 정수계획법 공식을 도출할 수 있는가? 이는 확장 가능한 근사 알고리즘의 가능성을 열어줄 것이다.
• RQ2 제안된 샘플링 알고리즘의 이론적 근사 한계는 무엇이며, 기존 문헌에서 알려진 최고의 한계를 초월할 수 있는가?
• RQ3 특이 행렬에 대한 새로운 수학적 도구를 사용하여 MESP에서 국소 탐색 알고리즘에 대해 처음으로 알려진 근사 비율을 확립할 수 있는가?
• RQ4 제안된 알고리즘은 실제 대규모 MESP 및 A-MESP 인스턴스에서 어떻게 성능을 발휘하는가?
• RQ5 분석을 A-최적 MESP(A-MESP)로 확장할 수 있으며, 볼륨 샘플링과 국소 탐색에 대해 각각 어떤 근사 한계가 존재하는가?

주요 결과

• 제안된 샘플링 알고리즘은 문헌에서 알려진 최고의 한계를 초월하는 개선된 근사 한계를 MESP에서 달성한다.
• MESP에서 국소 탐색 알고리즘에 대해 처음으로 알려진 근사 비율이 증명되었으며, 이 비율은 s/2 + δ−1 min{λmax(C), nδ + (n − s)λmax(C)}이다.
• 수치 실험 전반에 걸쳐 국소 탐색 알고리즘이 일관되게 근사 최적해를 제공하며, 다른 방법들을 능가하는 성능을 보였다.
• 샘플링 알고리즘은 동일한 근사 보장을 유지하면서 결정론적으로 효율적으로 구현되었다.
• A-MESP에서는 볼륨 샘플링 알고리즘이 min(s, n − s + 1)-근사 비율을 달성한다.
• 제안된 알고리즘은 오픈소스로 공개되었으며, 중규모 및 대규모 인스턴스, 특히 n = 90인 경우 near-optimality에 도달하는 강력한 성능을 보였다.