[論文レビュー] Support points

Simon Mak, V. Roshan Joseph|arXiv (Cornell University)|Sep 7, 2016

Statistical Methods and Inference参考文献 45被引用数 4

ひとこと要約

本稿では、エネルギー距離（統計的発散測度）を最小化することで連続確率分布をコンパクトに要約する代表点（support points）を提案する。この手法により、モンテカルロ法や準モンテカルロ法よりも高速な統計的積分収束が達成され、分布収束の理論的保証と滑らかな関数に対する改良された誤差率が得られる。

ABSTRACT

This paper introduces a new way to compact a continuous probability distribution $F$ into a set of representative points called support points. These points are obtained by minimizing the energy distance, a statistical potential measure initially proposed by Sz\'ekely and Rizzo (2004) for testing goodness-of-fit. The energy distance has two appealing features. First, its distance-based structure allows us to exploit the duality between powers of the Euclidean distance and its Fourier transform for theoretical analysis. Using this duality, we show that support points converge in distribution to $F$, and enjoy an improved error rate to Monte Carlo for integrating a large class of functions. Second, the minimization of the energy distance can be formulated as a difference-of-convex program, which we manipulate using two algorithms to efficiently generate representative point sets. In simulation studies, support points provide improved integration performance to both Monte Carlo and a specific Quasi-Monte Carlo method. Two important applications of support points are then highlighted: (a) as a way to quantify the propagation of uncertainty in expensive simulations, and (b) as a method to optimally compact Markov chain Monte Carlo (MCMC) samples in Bayesian computation.

研究の動機と目的

• 連続確率分布をコンパクトに要約する決定的で代表的な点集合を開発すること。
• 標準的なモンテカルロ法や準モンテカルロ法と比較して、数値積分の収束速度を向上させること。
• サンプル数を削減することで、高コストなシミュレーションにおける効率的な不確実性評価を可能にすること。
• ベイズ推論におけるマルコフ連鎖モンテカルロ（MCMC）出力を最適に圧縮すること。

提案手法

• サポートポイントは、点の経験分布と目的分布Fとの間のエネルギー距離を最小化することで生成される。
• エネルギー距離は、ユークリッド距離とそのフーリエ変換の双対性を用いて表現され、理論的解析を可能にする。
• 最小化問題は凸関数の差（DC）プログラムとして定式化され、2つの専用アルゴリズムを用いて効率的な最適化が可能となる。
• 理論的収束が確立されている：サポートポイントは分布収束の観点で目的分布Fに収束する。
• エネルギー距離の構造を活用することで、滑らかな関数の積分において誤差率が向上する。
• 本手法は、シミュレーションにおける不確実性評価や、ベイズ計算におけるMCMCサンプルの圧縮に応用可能である。

実験結果

リサーチクエスチョン

• RQ1 連続確率分布をコンパクトに要約する決定的で代表的な点集合を構築可能か？
• RQ2 エネルギー距離の最小化が、モンテカルロ法や準モンテカルロ法と比較して、数値積分の収束を速めるか？
• RQ3 サポートポイントは、高コストなシミュレーション出力の次元を効果的に削減しつつ、不確実性評価の正確さを保持できるか？
• RQ4 サポートポイントは、統計的忠実性を維持しながら、ベイズ推論におけるMCMCサンプルを最適に圧縮できるか？

主な発見

• サポートポイントは分布収束の観点で目的分布Fに収束し、漸近的に正しいことを保証する。
• 標準的なモンテカルロ法と比較して、広いクラスの関数の積分において誤差率が向上する。
• シミュレーション研究により、サポートポイントがモンテカルロ法および特定の準モンテカルロ法を上回る積分精度を達成することが示された。
• サポートポイントにより、高コストなシミュレーションにおける不確実性評価が、必要なサンプル数を削減することで効率化できる。
• 本手法は、ベイズ計算におけるMCMCサンプルの圧縮を最適に実現し、事後分布の特徴を保持する。