[論文レビュー] Optimal quantisation of probability measures using maximum mean discrepancy

Onur Teymur, Jackson Gorham+2 more|arXiv (Cornell University)|Oct 14, 2020

Statistical Methods and Inference参考文献 43被引用数 7

ひとこと要約

本稿では、最大平均差分（MMD）を用いた確率測度の最適量子化のための、非マナックかつミニバッチのグリーディーなアルゴリズムを提案する。代表点の選択を、半正定値緩和を用いて解ける整数二次計画問題（IQP）として定式化する。本手法は一貫性と有限標本誤差バウンドを達成し、KSDおよびMMD最小化タスクにおいて、従来の逐次的手法を上回り、統計的効率性が向上し、計算コストが低減される。

ABSTRACT

Several researchers have proposed minimisation of maximum mean discrepancy (MMD) as a method to quantise probability measures, i.e., to approximate a target distribution by a representative point set. We consider sequential algorithms that greedily minimise MMD over a discrete candidate set. We propose a novel non-myopic algorithm and, in order to both improve statistical efficiency and reduce computational cost, we investigate a variant that applies this technique to a mini-batch of the candidate set at each iteration. When the candidate points are sampled from the target, the consistency of these new algorithm - and their mini-batch variants - is established. We demonstrate the algorithms on a range of important computational problems, including optimisation of nodes in Bayesian cubature and the thinning of Markov chain output.

研究の動機と目的

• 確率測度μをMMDを乖離基準として用いて、離散的点集合νで効率的に近似する課題に対処すること。
• 無限領域上でのグリーディーMMD最小化の計算上的非現実性を解消するため、選択を有限な候補集合に制限すること。
• 非マナック的およびミニバッチ版のグリーディーMMD最小化により、統計的効率性を向上させ、計算コストを低減すること。
• 提案されたアルゴリズムの理論的一貫性および有限標本誤差バウンドを確立すること。
• ベイズ数値積分やマルコフ連鎖のスプライシングといった実用的応用分野における手法の有効性を示すこと。

提案手法

• 本手法は、有限な候補集合上でMMDを最小化するn個の代表点の選択を、整数二次計画問題（IQP）として定式化する。
• 非マナック的選択は、複数の点を同時に最適化することで達成され、解ベクトルに単位ノルム制約を課した制約付きIQPとして問題を定式化する。
• スケーラブルな計算を可能にするために、IQPの半正定値緩和（SDR）を用いる。その後、ランダムな超平面への射影と平行移動を用いて、正確にm個の点を選択する。
• 解の品質を向上させるために、R > 1回の試行を用いたランダムな超平面サンプリング戦略を採用し、コストはほとんど増加しない。
• ロバストネスと収束制御を確保するため、候補点のサブセット上で中央値ヒューリスティクスを用いてカーネル長スケールを選択する。
• 本手法はMMDおよびカーネルスティン差分（KSD）の両方の設定に適用可能であり、弱収束制御を保証するため、逆マルチクアドリックベースカーネルを用いる。

実験結果

リサーチクエスチョン

• RQ1 非マナック的およびミニバッチ版のグリーディーMMD最小化は、標準的な逐次的手法と比較して、統計的効率性を向上させるとともに、計算コストを低減できるか？
• RQ2 半正定値緩和を用いたIQP定式化は、確率測度の最適量子化に対して一貫性と有限標本誤差バウンドを持つ近似を達成できるか？
• RQ3 特に中央値ヒューリスティクスを用いたカーネル長スケールの選択が、得られる点集合近似の品質にどのように影響するか？
• RQ4 非マナック的およびバッチベースの選択戦略は、MMDおよびKSD最小化タスクにおいて、マナック的で逐次的な選択に比べて、どの程度優れているか？
• RQ5 提案手法は、ベイズ数値積分やマルコフ連鎖のスプライシングといった実世界の応用において、競争力のある性能を達成できるか？

主な発見

• 提案された非マナック的およびミニバッチアルゴリズムは、候補集合およびカーネルに対するやや弱い正則性条件の下で、一貫性と有限標本誤差バウンドを達成する。
• 最良のR個のサンプル（R=50）を用いた半正定値緩和アプローチは、非緩和IQPと同等の時間調整済みKSD性能を達成し、計算コストの増加はわずかである。
• 中央値ヒューリスティクスによる長スケール選択は、平方指数カーネルのℓ値を変化させた場合の視覚的および定量的改善から、病理的近似を効果的に回避することが示された。
• 非マナック的選択、特にすべての点を同時に選択する戦略は、特に高次元設定において、マナック的および逐次的手法よりも優れたMMDおよびKSD性能を達成する。
• 本手法は、ベイズ数値積分およびマルコフ連鎖のスプライシングタスクにおいて、既存の手法を上回り、実用的有用性とスケーラビリティを示した。
• SDRアプローチの性能は、Rが閾値（例：R=200）を超えると低下する傾向にあり、サンプリングコストと解の品質のトレードオフが顕在化している。