[論文レビュー] A Kernelized Stein Discrepancy for Goodness-of-fit Tests and Model Evaluation

Qiang Liu, Jason D. Lee+1 more|arXiv (Cornell University)|Feb 10, 2016

Statistical Distribution Estimation and Applications参考文献 30被引用数 14

ひとこと要約

この論文は、正規化定数が計算不能な複雑で高次元のモデルにおける尤度フリーな適合度検定のためのカーネル化されたスティーン分散（KSD）を導入する。スティーンの恒等式と再生核ヒルベルト空間（RKHS）理論を組み合わせることで、尤度の評価を必要とせず、スコア関数のみを用いて効率的なU統計量ベースの推定が可能となり、計算的に扱いやすく強力な検定を実現する。

ABSTRACT

We derive a new discrepancy statistic for measuring differences between two probability distributions based on combining Stein's identity with the reproducing kernel Hilbert space theory. We apply our result to test how well a probabilistic model fits a set of observations, and derive a new class of powerful goodness-of-fit tests that are widely applicable for complex and high dimensional distributions, even for those with computationally intractable normalization constants. Both theoretical and empirical properties of our methods are studied thoroughly.

研究の動機と目的

• 尤度が計算不能な状況において、計算的に扱いやすい適合度検定のための差分測度を開発すること。
• 深層生成モデルやグラフィカルモデルを含む高次元で複雑な確率的モデルにおけるモデル評価を可能にすること。
• 尤度や累積分布関数（CDF）の比較に依存しない、適切に補正された統計的有意性を持つ検定を提供すること。
• 正規化定数に依存しないスコア関数にのみ依存する方法を保証すること。
• 従来のカイ二乗検定やコルモゴロフ・スミルノフ検定とは異なり、一般用途でスケーラブルな代替手法を提供すること。

提案手法

• テスト関数の定義域をRKHSの球に制限することで、カーネル化されたスティーン分散（KSD）を提案し、計算が容易になるようにする。
• 差分測度の明示的な形を、独立同分布の標本の期待値として導出する：$\hat{\mathbb{S}}(p,q) = \frac{1}{n(n-1)}\sum_{i \neq j} u_q(x_i, x_j)$、ここで$u_q$はスコア関数$\nabla_x \log q(x)$にのみ依存する。
• U統計量を用いて差分測度を推定し、標本分布が明確に特徴づけられ、妥当な仮説検定が可能になるようにする。
• 正規化定数に依存しないスコア関数$\mathbf{s}_q = \nabla_x \log q(x)$を用いることで、未正規化モデルへの適用を可能にする。
• U統計量の漸近理論を活用し、$H_0: p = q$を検定するには$\mathbb{E}_p[u_q(x,x')] = 0$かどうかを検証することで実現する。
• 計算量のトレードオフとしてブロック平均化を用いた、KSD-linear（$O(n)$の複雑さ）とKSD-U（より高い検出力）の変種を導入する。

実験結果

リサーチクエスチョン

• RQ1 尤度が計算不能な高次元で未正規化されたモデルに対して、計算的に扱いやすくかつ強力な差分測度を構築できるか？
• RQ2 正規化定数に依存せず、スコア関数のみで効果的な適合度検定が可能か？
• RQ3 尤度が計算不能な状況下で、提案されたKSDに基づく検定はMMDや尤度比検定に比べてどれほど高い検出力を持つのか？
• RQ4 尤度の計算が計算的に不可能な状況でも、統計的有意性と検出力が維持できるか？
• RQ5 KSDの理論的・実験的性能は、MMD や MCMCに基づく近似手法と比較してどうなるか？

主な発見

• KSD-Uは、MMD-MC(1000) や MMD-MCMC よりも、高次元のガウス・ベルヌーイRBMにおける逸脱の検出で優れている。特にMCMCサンプルが代表的でない場合に顕著である。
• KSD-linearはKSD-Uより性能が劣るが、$O(n)$の計算量で実現可能な計算効率の高い代替手段であり、大規模モデルに適している。
• オракル尤度比検定が最良の検出力を示しており、KSD-Uが完全な尤度を用いないにもかかわらず、競争力があることが確認された。
• MMD-MCMCは、RBMの実験では$p=q$と$p \neq q$を区別できず、不正確なMCMCサンプルの下で性能が著しく劣っていることが示された。
• 帰無仮説下（$p=q$）の差分測度は、対立仮説下（$p \neq q$）よりも一貫して低く抑えられており、モデルの不適合を検出できる能力が妥当であることが裏付けられた。
• U統計量理論を用いることで、$\hat{\mathbb{S}}(p,q)$の標本分布が明確に特徴づけられ、妥当な仮説検定が可能であることが保証された。