[論文レビュー] A Linear-Time Kernel Goodness-of-Fit Test

Wittawat Jitkrittum, Wenkai Xu+3 more|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 23被引用数 14

ひとこと要約

本稿では、正規化定数を必要とせず、統計的検出力の最大化を図るためにスティーンの手法を用いて最適な検定特徴を学習する線形時間のカーネル適合度検定を提案する。この手法は、2次時間のカーネル検定と同等の性能を達成しながら、モデルとデータの乖離を解釈可能な可視化が可能であり、先行の線形時間検定よりも優れたバハドゥル効率を理論的に保証する。

ABSTRACT

We propose a novel adaptive test of goodness-of-fit, with computational cost linear in the number of samples. We learn the test features that best indicate the differences between observed samples and a reference model, by minimizing the false negative rate. These features are constructed via Stein's method, meaning that it is not necessary to compute the normalising constant of the model. We analyse the asymptotic Bahadur efficiency of the new test, and prove that under a mean-shift alternative, our test always has greater relative efficiency than a previous linear-time kernel test, regardless of the choice of parameters for that test. In experiments, the performance of our method exceeds that of the earlier linear-time test, and matches or exceeds the power of a quadratic-time kernel test. In high dimensions and where model structure may be exploited, our goodness of fit test performs far better than a quadratic-time two-sample test based on the Maximum Mean Discrepancy, with samples drawn from the model.

研究の動機と目的

• 計算効率が良く、線形時間の適合度検定を構築し、高い統計的検出力を維持すること。
• モデルの正規化定数を必要とせず、偽陰性率を最小化することで検出力を最大化する特徴を学習すること。
• 確率的モデルが観測データに適合しない箇所を解釈可能な形で特定できること。
• 先行の線形時間カーネル検定と比較して、より優れた漸近的バハドゥル効率を理論的に確立すること。
• 高次元および構造的モデル設定において、2標本検定および2次時間カーネル検定を上回ること。

提案手法

• 検定はスティーンの手法を用いて、モデル $p$ の下ではゼロとなるが、データ分布 $q$ の乖離に敏感な特徴を構築する。
• 最適な検定特徴は、$q$ の下でのスティーン変換関数の経験的期待値を最大化することで学習され、滑らかさの制約を課す。
• 1回のデータ走査で計算可能な $\mathcal{O}(n)$ 時間で検定統計量が得られ、U統計量の $\mathcal{O}(n^2)$ コストを回避する。
• 再生核ヒルバート空間（RKHS）を用いて特徴関数のクラスを定義することで、一貫性と解釈可能性を保証する。
• 検定の帰無仮説および対立仮説の分布を分析し、特徴選択のための検出力最適化基準を導出する。
• モデルがデータから著しく逸脱する場所を特定することで、乖離の可視化を拡張する。

実験結果

リサーチクエスチョン

• RQ1 2次時間カーネル検定と同等の検出力を有する線形時間の適合度検定を構築できるか？
• RQ2 検出力を最大化するように特徴を学習することで、ランダムまたは固定の特徴と比較して、効率性と解釈可能性が向上するか？
• RQ3 平均シフト代替仮説の下で、提案手法は先行の線形時間カーネル検定よりも漸近的により高い効率性を示すか？
• RQ4 2標本検定が失敗する高次元または構造的モデルにおいて、本手法は微細で局所的なモデル適合不良を検出できるか？
• RQ5 学習された特徴は、モデルとデータの乖離を解釈可能な可視化として提供できるか？

主な発見

• 提案された FSSD-opt 検定は、ガウス分布、ラプラス分布、RBM モデルを含むすべての評価シナリオで、2次時間の KSD 検定と同等の検出力を達成した。
• 構造的モデルを伴う高次元設定では、FSSD-opt 検定は、2標本 MMD および ME 検定を著しく上回り、大きなサンプルサイズでも微細な差を検出できないことが示された。
• 帰無仮説下で、正しい第1種の誤り率（約5％）を維持しており、特徴最適化による誤り率の上昇がないことが確認された。
• 平均シフト代替仮説の下で、提案手法は、[22]の線形時間検定よりも、核幅の選択にかかわらず、厳密に高い漸近的バハドゥル効率を示した。
• 学習された検定特徴は、モデル適合不良の解釈可能な可視化を提供し、2成分混合ガウスモデルが捉えきれないシカゴ強盗データの右裾の乖離を特定した。
• 大規模なサンプルサイズにおいて、FSSD-opt の実行時間は KSD より1桁速く、大規模データセットへのスケーラビリティを実現した。