[論文レビュー] Approximating the Permanent by Sampling from Adaptive Partitions

Jonathan Kuck, Tri Dao+3 more|arXiv (Cornell University)|Nov 26, 2019

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

この論文は、適応的分割と分配関数の上界を用いて、正規化されていない分布からの正確なサンプリングを可能にする新しい手法AdaPartを紹介する。これにより、密度行列のpermanentの高確率的・多項式時間近似が実現され、従来手法に比べ25倍以上の高速化が達成され、粒子フィルタにおける最適な提案分布からのサンプリングを可能にすることで、10分の1のサンプル数でマルチターゲットトラッキングの性能が向上する。

ABSTRACT

Computing the permanent of a non-negative matrix is a core problem with practical applications ranging from target tracking to statistical thermodynamics. However, this problem is also #P-complete, which leaves little hope for finding an exact solution that can be computed efficiently. While the problem admits a fully polynomial randomized approximation scheme, this method has seen little use because it is both inefficient in practice and difficult to implement. We present AdaPart, a simple and efficient method for drawing exact samples from an unnormalized distribution. Using AdaPart, we show how to construct tight bounds on the permanent which hold with high probability, with guaranteed polynomial runtime for dense matrices. We find that AdaPart can provide empirical speedups exceeding 25x over prior sampling methods on matrices that are challenging for variational based approaches. Finally, in the context of multi-target tracking, exact sampling from the distribution defined by the matrix permanent allows us to use the optimal proposal distribution during particle filtering. Using AdaPart, we show that this leads to improved tracking performance using an order of magnitude fewer samples.

研究の動機と目的

• 非負行列のpermanentを計算する計算の非効率性（#P完全性）に対処すること。これは正確に計算することが現実的ではない。
• 実世界での利用に不適切なほど遅い既存のFPRASアルゴリズムの制限を克服し、permanentの近似に実用的で効率的な手法を開発すること。
• 適応的分割と分配関数の保証されたネスト性を持つ上界を用いて、正規化されていない分布からの正確なサンプリングを可能にすること。
• 粒子フィルタリング中の最適な提案分布からのサンプリングを可能にすることで、マルチターゲットトラッキングの性能を向上させること。
• permanentに限らず、より広範な分野への応用が可能な一般化されたフレームワークを提供すること。

提案手法

• AdaPartは、ターゲット分布に基づいて動的にパーティションを選択する状態空間の適応的分割を用い、境界のタイトさとサンプリング効率を向上させる。
• 実行時間に検証可能な「ネスト性」を満たす任意の分配関数の上界を活用することで、正規化されていない分布からの正確なサンプリングを保証する。
• 上界がパーティション全体にわたって自己ネストするかどうかを再帰的に検証するプロセスを採用し、正しさと収束性を保証する。
• permanentの計算において、多項式時間で計算可能で、従来のネスト性を持つ上界を上回る、よりタイトな新しい上界を用いる。
• 粒子フィルタリングと統合し、行列のpermanentによって定義される最適な提案分布からの正確なサンプリングを可能にする。
• 繰り返しサンプリングを通じて、denseな行列に対して高確率的かつタイトなpermanentの境界を達成でき、誤差の保証と多項式時間の実行時間を有する。

実験結果

リサーチクエスチョン

• RQ1 固定パーティション手法と比較して、適応的分割は正規化されていない分布からのサンプリングの効率性と正確性を向上させることができるか？
• RQ2 分配関数の上界のみを用いても、正確なサンプリングを保証できる汎用的なサンプリング手法を設計できるか？
• RQ3 AdaPartは、permanent推定における既存のFPRASおよび変分近似手法と比較して、性能と正確性で優れているか？
• RQ4 粒子フィルタリングにおける最適な提案分布からの正確なサンプリングは、より少ないサンプル数でマルチターゲットトラッキングの性能を顕著に向上させることができるか？
• RQ5 タイトで適応的な境界は、denseおよびsparseな行列におけるpermanentにどのような影響を与えるか？

主な発見

• 変分的手法に困難な行列に対して、AdaPartは従来のサンプリング手法に比べ、実測で25倍以上の高速化を達成する。
• denseな行列に対しては、高確率的かつ多項式時間のpermanentの境界が保証され、理論的FPRASを実際の応用で上回る。
• マルチターゲットトラッキングにおいて、AdaPartは最適な提案分布からのサンプリングを可能にし、必要なサンプル数を10分の1に削減するとともに、対数尤度を向上させ、平均二乗誤差を低減する。
• 追加の並列計算により、境界を任意にタイトにできるが、Sinkhornの固定境界とは異なり、根本的に緩く、改善不能である。
• AdaPartの境界は、Sinkhornに基づく変分境界と比べて著しくタイトで、一部のケース（例：cage5行列）ではlog境界差が20単位以上に達する。
• sparseな行列においては、有望な結果を示しているが、Bethe近似のようなよりタイトな境界が利用可能であればさらなる改善が期待できるが、その実装は計算的に困難である。