[論文レビュー] Statistical Inference for Generative Models with Maximum Mean Discrepancy

François‐Xavier Briol, Alessandro Barp+2 more|arXiv (Cornell University)|Jun 13, 2019

Markov Chains and Monte Carlo Methods参考文献 106被引用数 35

ひとこと要約

本論文は、計算困難な生成モデルの最小MMD推定量を提案し、その整合性・漸近正規性・頑健性を分析し、推論を効率化する自然勾配に類似した最適化法を導入する。

ABSTRACT

While likelihood-based inference and its variants provide a statistically efficient and widely applicable approach to parametric inference, their application to models involving intractable likelihoods poses challenges. In this work, we study a class of minimum distance estimators for intractable generative models, that is, statistical models for which the likelihood is intractable, but simulation is cheap. The distance considered, maximum mean discrepancy (MMD), is defined through the embedding of probability measures into a reproducing kernel Hilbert space. We study the theoretical properties of these estimators, showing that they are consistent, asymptotically normal and robust to model misspecification. A main advantage of these estimators is the flexibility offered by the choice of kernel, which can be used to trade-off statistical efficiency and robustness. On the algorithmic side, we study the geometry induced by MMD on the parameter space and use this to introduce a novel natural gradient descent-like algorithm for efficient implementation of these estimators. We illustrate the relevance of our theoretical results on several classes of models including a discrete-time latent Markov process and two multivariate stochastic differential equation models.

研究の動機と目的

• 尤度が利用できない、または計算コストが高い、扱いにくい生成モデルに対する推論の動機づけ。
• モデルとデータ分布を比較するためにMaximum Mean Discrepancy (MMD) を用いた最小距離フレームワークを提案。
• 整合性、漸近正規性、頑健性を含む最小MMD推定量の統計的性質を分析。
• カーネル選択と幾何が一般化性能と効率に与える影響を調査。
• MMDベースの推論のための情報幾何学的アイデア（自然勾配）に基づく効率的な最適化アルゴリズムを開発。

提案手法

• 再生核ヒルベルト空間におけるカーネル平均埋め込みを用いて、モデルとデータ分布間のMMDを定義する。
• P_thetaと経験的データ分布Q^mとの間のMMD^2を最小化することにより、最小MMD推定量を定式化する。
• 不可実的な積分を計算せずにパラメータthetaを更新するための、U-statistic勾配推定量を導出してSGDを適用する。
• パラメータ空間上のカーネル誘起リーマン計量を用いた確率的な自然勾配降下アルゴリズムを導入する。
• 頑健性のために勾配流を近接様な更新へ結びつける完全に陰的離散化を議論する。
• 最小MMD推定量とカーネルスコアリングルールおよびそれに対応する発散との関連を論じる。

実験結果

リサーチクエスチョン

• RQ1 尤度の代わりに距離ベースの基準を用いて、扱いにくい生成モデルに対してどのように統計的推論を行えるか？
• RQ2 M-closedおよびM-open設定における最小MMD推定量の理論特性（整合性、漸近正規性、頑健性）はどのようなものか？
• RQ3 カーネルの選択が推定量の一般化境界、効率性、および頑健性にどのように影響するか？
• RQ4 自然勾配または情報幾何学的アプローチは、MMDベースの推論の計算効率的な最適化を実現できるか？
• RQ5 潜在マルコフ過程や確率微分方程式などのモデルに対する最小MMD推定量の実践的影響と性能はどうか？

主な発見

• 適切な仮定の下、M-closed設定において最小 MMD 推定量は整合性があり、漸近的に正規である。
• M-open設定で推定量の頑健性が確立され、定性的・定量的な頑健性結果が示される。
• MMD推定量の一般化境界は次元に頑健で、m^{-1/2} のオーダー（n,m設定では n^{-1/2}）の速度と、明示的なカーネル依存定数を持つ。
• カーネル選択は、ガウシアンカーネルやカーネル混合を含む場合、効率と頑健性のトレードオフをもたらし、メディアン長スケールのヒューリスティクスが次元性の影響を緩和できる。
• MMDの情報幾何に基づく確率的自然勾配降下アルゴリズムは、これらの推定量に対して標準SGDより計算上の利得を提供する。
• 離散時間潜在マルコフ過程と多変量SDEへの応用は、理論の実用的関連性を示す。