[論文レビュー] A Kernel Stein Test for Comparing Latent Variable Models

Heishiro Kanagawa, Wittawat Jitkrittum+3 more|arXiv (Cornell University)|Jul 1, 2019

Statistical Methods and Bayesian Inference参考文献 60被引用数 7

ひとこと要約

本稿では、正規化定数が求められない周辺尤度を有する潜在変数モデルを比較するためのカーネルスティン検定（LKSD）を提案する。スティンの方法とカーネル化された乖離度を活用することで、正規化定数を必要とせず、非パラメトリックかつサンプルベースのモデル比較が可能になる。この手法は、第1種の誤り率を良好に制御し、高次元・低潜在次元設定において相対的MMD検定を著しく上回る性能を示す。

ABSTRACT

We propose a kernel-based nonparametric test of relative goodness of fit, where the goal is to compare two models, both of which may have unobserved latent variables, such that the marginal distribution of the observed variables is intractable. The proposed test generalizes the recently proposed kernel Stein discrepancy (KSD) tests (Liu et al., 2016, Chwialkowski et al., 2016, Yang et al., 2018) to the case of latent variable models, a much more general class than the fully observed models treated previously. The new test, with a properly calibrated threshold, has a well-controlled type-I error. In the case of certain models with low-dimensional latent structure and high-dimensional observations, our test significantly outperforms the relative Maximum Mean Discrepancy test, which is based on samples from the models and does not exploit the latent structure.

研究の動機と目的

• 周辺尤度が計算不能な潜在変数モデルを、非パラメトリックかつサンプルベースの方法で比較するための検定を開発すること。
• 完全に観測されたモデルに対する既存の研究を一般化し、未観測の潜在変数を有するモデルに対してもカーネルスティン乖離度（KSD）を拡張すること。
• 検定の臨界値を適切にキャリブレーションすることで、第1種の誤り率を良好に制御すること。
• 高次元・低潜在次元設定において、潜在構造を活用することで、相対的MMDなどの既存手法を上回る統計的パワーを達成すること。
• 周辺密度が計算不能な状況において、尤度比検定の実用的で計算が効率的な代替手法を提供すること。

提案手法

• 正規化定数の計算を必要としない、モデル固有のスティン作用素を構築することで、潜在変数モデルに適応したカーネルスティン乖離度（KSD）を用いる。
• 2つの競合モデルからのサンプルと参照データセットとの間の乖離度に基づく検定統計量を、スティン変換を施した再生核ヒルベルト空間からのウェッジ関数を用いて定式化する。
• スチューデント化誤差の推定器として、ジャックナイフ、U推定量、V推定量を評価し、ジャックナイフとV推定量がより優れたロバストネスと第1種の誤り率制御を示した。
• 漸近正規性に基づいて臨界値を導出し、帰無仮説下で第1種の誤り率が良好に制御されることを保証する。
• 真のモデル下ではスティン作用素の期待値がゼロとなるという事実を活用し、乖離度をサンプルにのみ依存する項に簡略化する。
• 確率的主成分分析（PPCA）と潜在ディリクレ割り当て（LDA）モデルに適用し、さまざまな摂動パラメータを有する合成データ上で性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 正規化定数が計算できない周辺分布を有する潜在変数モデルを比較するためのカーネルスティン検定を一般化できるか？
• RQ2 相対的MMDなどの既存手法と比較して、提案されたLKSD検定の第1種の誤り率制御性能はいかがなものか？
• RQ3 ジャックナイフ、U推定量、V推定量の中では、実用的において最も信頼性のある第1種の誤り率制御を提供するのはどれか？
• RQ4 高次元モデルにおいて潜在構造を活用することで、サンプルベースのMMD検定と比較して統計的パワーが向上するか？
• RQ5 比較対象の2つのモデルが同一である場合、漸近正規性の仮定が破綻するが、検定の挙動はどのように変化するか？

主な発見

• ジャックナイフおよびV推定量を用いたLKSD検定は、モデルが次第に類似するようになっても、第1種の誤り率が名目水準α=0.05に近く保たれる。
• U推定量は真の分散を系統的に低く見積もるため、第1種の誤り率が高くなり、まれに負の値を返すこともあり、著者らはこれを避けるよう推奨する。
• PPCAおよびLDAの実験では、潜在構造が低次元で観測が高次元である状況において、LKSD検定は相対的MMD検定を著しく上回り、差を検出する能力に優れる。
• モデルが同一である場合、ジャックナイフおよびV推定量を用いたLKSD検定は保守的である傾向にあり、帰無仮説が棄却される頻度はα=0.05を著しく下回るが、理論的仮定が破綻しているにもかかわらず依然として良好な性能を示す。
• 潜在構造を活用することで、LKSD検定は帰無仮説および対立仮説の両状況においてロバストで信頼性が高く、特にその応用が顕著に効果を発揮する。
• 提案手法により、周辺尤度の計算を必要とせず、適切にキャリブレーションされたモデル比較が可能となり、複雑な潜在変数モデルに適した手法であることが示された。