[論文レビュー] Polynomial Time Algorithms for Dual Volume Sampling

Chengtao Li, Stefanie Jegelka+1 more|arXiv (Cornell University)|Mar 8, 2017

Markov Chains and Monte Carlo Methods被引用数 14

ひとこと要約

本稿では、短く広い行列（n × m、n ≤ k ≤ m）からk個の列を選択する際、選択確率が選択された列によって形成される部分行列の行列式に比例する、二重体積サンプリング（DVS）のための、初めての多項式時間の確率的および決定的アルゴリズムを提示する。主な貢献は、実安定多項式の理論を用いてDVSが強いレーレイGH（Strong Rayleigh）性質を満たすことを証明したことであり、これにより、証明可能に高速に混合するマルコフ連鎖サンプラーが構築され、A-およびE-最適実験設計における近似保証が確立される。

ABSTRACT

We study dual volume sampling, a method for selecting k columns from an n x m short and wide matrix (n <= k <= m) such that the probability of selection is proportional to the volume spanned by the rows of the induced submatrix. This method was proposed by Avron and Boutsidis (2013), who showed it to be a promising method for column subset selection and its multiple applications. However, its wider adoption has been hampered by the lack of polynomial time sampling algorithms. We remove this hindrance by developing an exact (randomized) polynomial time sampling algorithm as well as its derandomization. Thereafter, we study dual volume sampling via the theory of real stable polynomials and prove that its distribution satisfies the "Strong Rayleigh" property. This result has numerous consequences, including a provably fast-mixing Markov chain sampler that makes dual volume sampling much more attractive to practitioners. This sampler is closely related to classical algorithms for popular experimental design methods that are to date lacking theoretical analysis but are known to empirically work well.

研究の動機と目的

• 双対体積サンプリング（DVS）のための効率的サンプリングという長年の未解決問題に取り組む。DVSは理論的・実用的潜在能力が非常に高いが、多項式時間アルゴリズムを欠いている。
• DVSの正確な確率的および決定的アルゴリズムを、多項式時間で実行可能にする。これにより、その実用的採用における主要なボトルネックを克服する。
• 実安定多項式の理論を用いて、DVS分布が強いレーレイGH性質を満たすことを確立する。これにより、新たな理論的・アルゴリズム的帰結が得られる。
• DVSを用いてA-およびE-最適実験設計に対する、証明可能なタイトな近似保証を提供する。これにより、既存の境界を同等または上回る。
• DVSを古典的実験設計およびグラフアルゴリズムと結びつける。低ストレッチスパニングツリー、前処理、ネットワーク制御可能性への関連性を示す。

提案手法

• n×m行列（n ≤ k ≤ m）からk個の列をサンプリングする確率的多項式時間アルゴリズムを提案。選択された集合Sの確率が、det(A_S A_S^T)に比例するようにする。
• 各ステップで条件付き期待値の最小化を用いることで、確率的バージョンと同等の近似境界を満たす決定的列サブセットSを決定的に選択するデランドマイズドアルゴリズムを導出する。
• 実安定多項式の理論を用いて、関連する生成多項式を分析することで、DVS分布が強いレーレイGHであることを証明する。
• 強いレーレイGH性質を活用し、DVSのための証明可能に高速に混合するマルコフ連鎖サンプラーを構築する。これにより、実用的な効率的なサンプリングが可能になる。
• 行列恒等式および行列式の操作を用いて、DVSを体積サンプリングと関連づけ、デランドマイズドプロセスのための条件付き期待値を導出する。
• 実験設計への応用として、擬似逆行列の期待逆Frobeniusノルムおよびスペクトルノルムが、既知の近似要因によって抑えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 双対体積サンプリングは、理論的利点が大きいものの、多項式時間でサンプリング可能か？
• RQ2 双対体積サンプリング分布は強いレーレイGH性質を満たすか？ これは負の依存性および高速な混合を示唆する。
• RQ3 DVS分布をデランドマイズ化し、A-およびE-最適設計のための決定的近似保証を達成できるか？
• RQ4 DVSの近似境界は、リーバッジスコアサンプリングやグリーディアルゴリズムなど、他の手法と比較して実際の性能でどう異なるか？
• RQ5 DVSと古典的アルゴリズム（低ストレッチスパニングツリーなど）との関連性は何か？

主な発見

• 本稿は、双対体積サンプリングのための、初めての多項式時間の確率的およびデランドマイズドアルゴリズムを提示し、長年の未解決問題を解決した。
• DVS分布が強いレーレイGHであることが証明され、これは負の依存性を示し、証明可能に高速に混合するマルコフ連鎖サンプラーの構築を可能にする。
• デランドマイズドアルゴリズムは、確率的バージョンと同等の近似保証を達成する。E[||A_S^†||_F²] ≤ (m−n+1)/(k−n+1) ||A^†||_F² および E[||A_S^†||_2²] ≤ (1 + n(m−k)/(k−n+1)) ||A^†||_2² が成り立つ。
• 決定的アルゴリズムは、列サブセットSを出力し、||A_S^†||_F² ≤ (m−n+1)/(k−n+1) ||A^†||_F² および ||A_S^†||_2² ≤ n(m−n+1)/(k−n+1) ||A^†||_2² を満たす。
• 理論的枠組みにより、DVSが古典的実験設計およびグラフアルゴリズムと結びついており、前処理、低ストレッチスパニングツリー、ネットワーク制御可能性への関連性が示された。
• 実験的結果では、DVSに基づくサンプリングが効率的（1秒未塔）であり、グリーディーや最適化ベースの手法と同等またはそれ以上の性能を示したが、常に優れているとは限らない。