[論文レビュー] Efficient computation of the volume of a polytope in high-dimensions using Piecewise Deterministic Markov Processes

Augustin Chevallier, Frédéric Cazals+1 more|arXiv (Cornell University)|Feb 18, 2022

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿は、高次元の多面体の体積を効率的に計算するための、Piecewise Deterministic Markov Processes (PDMPs) に基づく新しいサンプリング手法を提案する。区分的線形軌道を活用することで、ハミルトニアン・モンテカルロ（HMC）と比較して次元の程度の計算コストを削減し、最大で10倍の高速化を達成。1コアで次元500まで数分で体積計算が可能となる。

ABSTRACT

Computing the volume of a polytope in high dimensions is computationally challenging but has wide applications. Current state-of-the-art algorithms to compute such volumes rely on efficient sampling of a Gaussian distribution restricted to the polytope, using e.g. Hamiltonian Monte Carlo. We present a new sampling strategy that uses a Piecewise Deterministic Markov Process. Like Hamiltonian Monte Carlo, this new method involves simulating trajectories of a non-reversible process and inherits similar good mixing properties. However, importantly, the process can be simulated more easily due to its piecewise linear trajectories - and this leads to a reduction of the computational cost by a factor of the dimension of the space. Our experiments indicate that our method is numerically robust and is one order of magnitude faster (or better) than existing methods using Hamiltonian Monte Carlo. On a single core processor, we report computational time of a few minutes up to dimension 500.

研究の動機と目的

• 統計、物理学、システム生物学、ロボット工学、人工知能において重要な、高次元多面体の体積推定という計算課題に取り組む。この問題は#P困難である。
• 既存のサンプリングベースの体積計算アルゴリズムには、特に高次元において高い計算コストと数値的不安定性の問題があるため、それを克服する。
• HMCと同等の良い混合性を維持しながらも、より単純な区分的線形軌道により計算複雑性を低減する新しいサンプリング戦略を開発する。
• HMCで使用される高価な逆三角関数を排除することで、数値誤差に弱い問題を緩和し、数値的安定性を向上させる。
• 実用的な高次元設定において、提案手法のPDMPベースのアプローチが、最先端のHMCベースの手法よりも収束が速く、誤差率も低いことを実証する。

提案手法

• 多面体内での決定的で区分的線形軌道を模倣するPDMPを提案。ポisson分布に従う時刻にランダムに速度を再設定する。
• PDMPを用いて、収縮する凸体（例えば多面体）に制限されたガウス分布の系列からサンプリングし、体積のテレスコピック積推定を可能にする。
• 冷却スケジュールフレームワークにPDMPサンプラーを統合。初期には広いガウス分布から始め、最終的には多面体上の一様分布へと変化する。
• ヒットアンドリダクションのコーナースティッキング問題を回避し、HMCの曲線軌道に起因する数値的不安定性も回避する、拒否なしのサンプリングメカニズムを実装する。
• リフレッシュレート（λ_refresh）と出力レート（λ_output）のチューニングにより、サンプリングプロセスを最適化。後続フェーズでは重要度サンプリングにより事前に得たサンプル点を再利用する。
• 速度再設定における計算コストの高い行列-ベクトル積を、より効率的な代替手法に置き換えることで、さらにコストを削減する。

実験結果

リサーチクエスチョン

• RQ1 高次元多面体体積計算において、PDMPベースのサンプリング戦略は、ハミルトニアン・モンテカルロ（HMC）よりも収束が速く、計算コストも低くなるか？
• RQ2 PDMPにおける区分的線形軌道の使用により、HMCで必要とされる高価な逆三角関数の必要性が排除され、数値的安定性が向上するか？
• RQ3 特に次元100を超えた場合に、提案手法の性能は次元増加に伴いどの程度スケーリングするか？
• RQ4 ガウス分布ではなく球体を用いた冷却スケジュールと比較して、PDMPベースのアプローチは分散と精度の面で優れているか？
• RQ5 PDMPフレームワークは、区分的C¹境界を持つ他の凸体に対しても適応可能か？また、HMCと比較して実用的な利点は何か？

主な発見

• PDMPベースの手法は、最先端のHMCベースの体積計算アルゴリズムと比較して、1コアプロセッサ上で10倍以上の高速化（10倍未満のオーダー）を達成した。
• 多面体の体積推定が、次元500まで数分で可能であることを示し、高次元領域におけるスケーラビリティを実証した。
• 数値的安定性に優れている：境界交差計算における数値的不安定性のため、HMCとは異なり、複数精度の修正がサンプリング中に一切必要とされなかった。
• HMCと比較してサンプル数を10倍多くしても相対誤差が10％未満に保たれ、安定した収束特性を示した。
• 軌道-境界交差計算において逆正 tangent 関数を使用しないため、HMCに見られる主な数値誤差と計算コストの要因が排除された。
• 実装はGitHubで公開されており、再現性が確保され、既存手法とのさらなるベンチマークが可能である。