[論文レビュー] Kernelized Complete Conditional Stein Discrepancy

Raghav Singhal, Han, Xintian+2 more|arXiv (Cornell University)|Apr 9, 2019

Mathematical Approximation and Integration参考文献 30被引用数 5

ひとこと要約

この論文は、高次元における分布比較の精度を向上させるために、単変量の完全条件付き分布を活用する新しい不一致尺度であるカーネル化完全条件付きスティーブン・不一致尺度（kcc-sd）を提案する。完全条件付き分布から導出された単変量のテスト関数に対して個別に上界を計算することにより、kcc-sdは、カーネル化スティーブン不一致尺度（ksd）やベースライン手法と比較して、特に相関性や重さを持つ分布を含む高次元設定下で、適合度検定およびMCMCサンプル品質評価においてより高い統計的パワーを達成する。

ABSTRACT

Much of machine learning relies on comparing distributions with discrepancy measures. Stein's method creates discrepancy measures between two distributions that require only the unnormalized density of one and samples from the other. Stein discrepancies can be combined with kernels to define kernelized Stein discrepancies (KSDs). While kernels make Stein discrepancies tractable, they pose several challenges in high dimensions. We introduce kernelized complete conditional Stein discrepancies (KCC-SDs). Complete conditionals turn a multivariate distribution into multiple univariate distributions. We show that KCC-SDs distinguish distributions. To show the efficacy of KCC-SDs in distinguishing distributions, we introduce a goodness-of-fit test using KCC-SDs. We empirically show that KCC-SDs have higher power over baselines and use KCC-SDs to assess sample quality in Markov chain Monte Carlo.

研究の動機と目的

• カーネルの退化により高次元設定で性能が著しく低下するカーネル化スティーブン不一致尺度（ksd）の問題を解決すること。
• 多次元カーネルが高次元で失敗する場合でも、分布を区別できる不一致尺度の開発。
• 計算が容易でスケーラブルな不一致尺度を用いて、効果的な適合度検定およびMCMC収束評価を可能にすること。
• 完全条件付き分布の学習されたサンプリング手法を用いる近似バージョンの不一致尺度を導入すること。

提案手法

• 多変量分布を単変量の完全条件付き分布に分解し、多次元カーネルの代わりに単変量カーネルを用いることを可能にする。
• 各完全条件付き分布に対してカーネル化スティーブン不一致尺度を定義し、再生核ヒルベルト空間（RKHS）内のテスト関数について個別の上界を計算する。
• 単変量の条件付き密度にカーネル化された作用素を適用することで、スティーブンの手法を用いて完全条件付き不一致尺度を構築する。
• kcc-sdの閉形式表現を導出し、全条件付き分布からの明示的サンプリングを必要とせずに効率的な計算を可能にする。
• 完全条件付き分布のサンプリングに、例えば正規化フローなどの学習された条件付き密度推定器を用いる近似kcc-sdを導入する。
• 既存の適合度検定フレームワークと統合し、kcc-sdを検定統計量として用いて分布の不一致を検出する。

実験結果

リサーチクエスチョン

• RQ1 単変量の完全条件付き分布に基づく不一致尺度は、多次元カーネル化スティーブン不一致尺度よりも高次元での分布比較において優れた性能を示すか？
• RQ2 kcc-sdは、p ≡ q のときのみ0の不一致を示すか？
• RQ3 ksd や fssd が性能を失う高次元設定下でも、kcc-sd は高い統計的パワーを維持できるか？
• RQ4 完全条件付き分布のための学習済みサンプリング手法を用いる近似kcc-sdは、性能を著しく損なわないか？
• RQ5 kcc-sd は、ギブスサンプリングやバイアスのあるMCMCサンプリングにおける収束問題を効果的に検出できるか？

主な発見

• 100次元の適合度検定において、多変量正規分布とラプラス歪み分布を比較した際、kcc-sdはパワー1を維持するが、ksd や fssd はパワーが低下する。
• 1000サンプルで、ksd や rΦsd、fssd-opt よりも低いサンプル数でパワー1に達するため、統計的効率性が優れている。
• ラプラスノイズを含む相関性のあるガウスモデルにおいて、kcc-sd は次元が増加してもパワー1を維持するが、ベースライン手法はパワーを失う。
• 近似kcc-sdは、高次元でも正確なkcc-sdと比較して有意なパワーの損失を示さず、実用性が裏付けられる。
• kcc-sdは、メトロポリス・インサイド・ギブスサンプリングにおけるバイアスを検出できる：受容確率のバイアス項の大きさに応じて、kcc-sdは単調に増加する。
• kcc-sdは、ベイズ行列分解におけるギブスサンプリングの収束問題を効果的に特定でき、高い値は混合の悪さやバイアスを示す。