[논문 리뷰] Polynomial Time Algorithms for Dual Volume Sampling

Chengtao Li, Stefanie Jegelka외 1명|arXiv (Cornell University)|2017. 03. 08.

Markov Chains and Monte Carlo Methods인용 수 14

한 줄 요약

이 논문은 이중 볼륨 샘플링(DVS)에 대한 최초의 다항시간 랜덤화 및 비랜덤화 알고리즘을 제안한다. DVS는 짧고 넓은 행렬(n × m, n ≤ k ≤ m)에서 k개의 열을 선택하는 방법으로, 선택 확률이 선택된 열로 구성된 부분행렬의 행렬식 비례하도록 한다. 주요 기여는 실 안정 다항식 이론을 통해 DVS가 강한 레일리 성질을 만족함을 증명한 것으로, 이는 증명 가능하게 빠르게 혼합되는 마르코프 체인 샘플러를 가능하게 하고, A- 및 E-최적 실험 설계에 대한 근사 보장을 수립한다.

ABSTRACT

We study dual volume sampling, a method for selecting k columns from an n x m short and wide matrix (n <= k <= m) such that the probability of selection is proportional to the volume spanned by the rows of the induced submatrix. This method was proposed by Avron and Boutsidis (2013), who showed it to be a promising method for column subset selection and its multiple applications. However, its wider adoption has been hampered by the lack of polynomial time sampling algorithms. We remove this hindrance by developing an exact (randomized) polynomial time sampling algorithm as well as its derandomization. Thereafter, we study dual volume sampling via the theory of real stable polynomials and prove that its distribution satisfies the "Strong Rayleigh" property. This result has numerous consequences, including a provably fast-mixing Markov chain sampler that makes dual volume sampling much more attractive to practitioners. This sampler is closely related to classical algorithms for popular experimental design methods that are to date lacking theoretical analysis but are known to empirically work well.

연구 동기 및 목표

• 이중 볼륨 샘플링(DVS)에 대한 효율적인 샘플링 기술이 다항시간 알고리즘을 갖추지 못함에도 불구하고, 그 이론적·실용적 잠재력이 매우 높음에도 불구하고 오랫동안 미해결된 문제를 해결하고자 한다.
• DVS에 대한 정확한 랜덤화 및 비랜덤화 알고리즘을 개발하여 다항시간 내에 실행되도록 하여, 그 실용적 적용에서의 주요 장벽을 극복하고자 한다.
• 실 안정 다항식 이론을 활용하여 DVS 분포가 강한 레일리 성질을 만족함을 증명함으로써, 새로운 이론적·알고리즘적 결과를 열어가고자 한다.
• DVS를 통해 A- 및 E-최적 실험 설계에 대해 증명 가능한 날카운 가까운 근사 보장을 제공함으로써, 기존의 결과들과 견줄 만하거나 이를 초월함을 보이고자 한다.
• DVS를 고전적 실험 설계 및 그래프 알고리즘과 연결하여, 조절 행렬, 저스트레치 스패닝 트리, 네트워크 제어 가능성 등에서의 관련성을 보여주고자 한다.

제안 방법

• n×m 행렬(n ≤ k ≤ m)에서 k개의 열을 샘플링하는 데 랜덤화 다항시간 알고리즘을 제안하여, 집합 S가 선택될 확률이 det(A_S A_S^T)에 비례하도록 한다.
• 각 단계에서 조건부 기대값 최소화를 활용하여, 랜덤화된 버전과 동일한 근사 보장을 만족하는 결정론적 열 부분집합 S를 선택하는 비랜덤화 알고리즘을 유도한다.
• 실 안정 다항식 이론을 활용하여 관련 생성 다항식을 분석함으로써 DVS 분포가 강한 레일리 성질을 만족함을 증명한다.
• 강한 레일리 성질을 활용하여 DVS에 대해 증명 가능하게 빠르게 혼합되는 마르코프 체인 샘플러를 구축함으로써, 실용적인 효율적인 샘플링을 가능하게 한다.
• 행렬 항등식과 행렬식 변환을 활용하여 DVS를 볼륨 샘플링과 연결하고, 비랜덤화 과정에서의 조건부 기대값을 유도한다.
• 행렬의 역행렬의 프로베니우스 노름 및 스펙트럴 노름의 기대값이 알려진 근사 요인 이내로 제한됨을 보여줌으로써, 실험 설계에 적용한다.

실험 결과

연구 질문

• RQ1 이중 볼륨 샘플링은 열 부분집합 선택에서 이론적으로 유용한 잠재력을 지니고 있음에도 불구하고, 다항시간 내에 샘플링이 가능한가?
• RQ2 이중 볼륨 샘플링 분포는 강한 레일리 성질을 만족하는가? 이는 음의 상관관계와 빠른 혼합을 암시하는가?
• RQ3 DVS 분포는 A- 및 E-최적 설계에 대해 결정론적 근사 보장을 달성할 수 있도록 비랜덤화할 수 있는가?
• RQ4 실제로 DVS의 근사 보장 수준은 레버리지 스코어 샘플링 또는 그레디 알고리즘과 비교해 어떻게 되는가?
• RQ5 DVS는 저스트레치 스패닝 트리와 같은 고전적 알고리즘과 어떤 관련이 있는가?

주요 결과

• 이 논문은 이중 볼륨 샘플링에 대한 최초의 다항시간 랜덤화 및 비랜덤화 알고리즘을 제시하여 오랫동안 미해결이었던 문제를 해결한다.
• DVS 분포가 강한 레일리 성질을 만족함을 증명함으로써, 음의 상관관계를 암시하고 증명 가능하게 빠르게 혼합되는 마르코프 체인 샘플러를 가능하게 한다.
• 비랜덤화 알고리즘은 랜덤화된 버전과 동일한 근사 보장을 달성한다: E[||A_S^†||_F²] ≤ (m−n+1)/(k−n+1) ||A^†||_F² 및 E[||A_S^†||_2²] ≤ (1 + n(m−k)/(k−n+1)) ||A^†||_2².
• 결정론적 알고리즘은 ||A_S^†||_F² ≤ (m−n+1)/(k−n+1) ||A^†||_F² 및 ||A_S^†||_2² ≤ n(m−n+1)/(k−n+1) ||A^†||_2² 를 만족하는 열 부분집합 S를 출력한다.
• 이론적 프레임워크는 DVS를 고전적 실험 설계 및 그래프 알고리즘과 연결하여, 조절 행렬, 저스트레치 스패닝 트리, 네트워크 제어 가능성 등에서의 관련성을 보여준다.
• 실험 결과는 DVS 기반 샘플링이 효율적(1초 이내)이며, 그레디 및 최적화 기반 방법과 경쟁 가능함을 보여주지만, 항상 뛰어나지는 않음을 확인한다.