[論文レビュー] Random Feature Stein Discrepancies

Jonathan H. Huggins, Lester Mackey|arXiv (Cornell University)|Jun 20, 2018

Adversarial Robustness in Machine Learning被引用数 26

ひとこと要約

本稿では、標本が目的の分布に収束することを厳密に保証する計算可能なスティーナー分散の新規族、特徴スティーナー分散（ΦSDs）を導入する。ランダム特徴を用いた重要度サンプリングを活用することで、計算時間がほぼ線形時間 O(N^{1+γ}) に抑えられつつも、二次時間のカーネルスティーナー分散（KSDs）と同等の精度を達成するランダムΦSDs（RΦSDs）を構築した。これにより、高速かつスケーラブルな適合度検定およびサンプラー選定が可能となる。

ABSTRACT

Computable Stein discrepancies have been deployed for a variety of applications, ranging from sampler selection in posterior inference to approximate Bayesian inference to goodness-of-fit testing. Existing convergence-determining Stein discrepancies admit strong theoretical guarantees but suffer from a computational cost that grows quadratically in the sample size. While linear-time Stein discrepancies have been proposed for goodness-of-fit testing, they exhibit avoidable degradations in testing power -- even when power is explicitly optimized. To address these shortcomings, we introduce feature Stein discrepancies ($Φ$SDs), a new family of quality measures that can be cheaply approximated using importance sampling. We show how to construct $Φ$SDs that provably determine the convergence of a sample to its target and develop high-accuracy approximations -- random $Φ$SDs (R$Φ$SDs) -- which are computable in near-linear time. In our experiments with sampler selection for approximate posterior inference and goodness-of-fit testing, R$Φ$SDs perform as well or better than quadratic-time KSDs while being orders of magnitude faster to compute.

研究の動機と目的

• 従来のスティーナー分散が標本サイズに比例して二次的に増加する計算コストを低減すること。
• 高次元において性能が低下する線形時間の代替手法（例：FSSD）の限界を克服すること。
• 理論的にも妥当で、実用的にも効率的な、計算可能で収束を決定づける分散測度を構築すること。
• 近似的に線形時間の近似を用いて、高速かつスケーラブルな適合度検定およびMCMCサンプラー選定を可能にすること。

提案手法

• スティーナー作用素と特徴写像に基づく、新たな積分確率的距離（IPM）としての特徴スティーナー分散（ΦSDs）を提案する。
• 有限個の特徴を用いてΦSDsを構築し、標本が目的分布に収束することを保証する。
• 提案分布を用いた重要度サンプリングにより、ΦSDsを効率的に近似するランダムΦSDs（RΦSDs）を導入する。
• 理論的境界を確立し、適切な提案分布のもとで、RΦSDsが高確率で O(N^{-1/2})-精度の推定を O(N^{1+γ}) 時間で達成できることを示す。
• i.i.d.サンプリングのもとでのRΦSDsの漸近的帰無分布を導出し、仮説検定に応用可能にする。
• 計算コストを最小限に抑えつつ検定力の最大化を図るため、特徴選択を最適化する。

実験結果

リサーチクエスチョン

• RQ1 収束の収束を厳密に保証しつつ、計算効率も維持できるスティーナー分散を構築できるか？
• RQ2 スティーナー分散の線形時間近似は、高次元設定でも高い統計的検定力を持続できるか？
• RQ3 ランダム特徴を用いた重要度サンプリングにより、理論的保証を伴う高精度でスケーラブルなスティーナー分散の近似が得られるか？
• RQ4 適合度検定およびサンプラー選定において、RΦSDsの精度と速度は、二次時間のKSDsと比べてどのように異なるか？

主な発見

• RΦSDsは、O(N^{1+γ}) 時間で真のΦSDの O(N^{-1/2})-精度推定を達成し、ほぼ線形時間の計算が可能である。
• わずか10個の特徴のみを用いても、RΦSDsはサンプラー選定および適合度検定において、二次時間のKSDsと同等またはそれ以上の性能を達成する。
• RΦSDsは高次元でも高い検定力を維持し、FSSDのような従来の線形時間手法で見られる性能の低下を回避する。
• 理論的解析により、適切な提案分布のもとで、RΦSDsが真のΦSDに相対誤差の面で高確率で近い値をとることが確認された。
• RΦSDsの漸近的帰無分布が導出され、i.i.d.サンプリングの帰無仮説のもとで有効な仮説検定が可能となった。