[論文レビュー] Inference in generative models using the Wasserstein distance

Espen Bernton, Pierre Jacob+2 more|arXiv (Cornell University)|Jan 18, 2017

Complex Systems and Time Series Analysis参考文献 2被引用数 30

ひとこと要約

本稿は、生成モデルにおけるパrameter推定の理論的基盤を Wasserstein 距離を用いて確立し、最小 Wasserstein 推定量（MWE）および最小期待 Wasserstein 推定量（MEWE）を提案する。モデルの不適合下でも一貫性、存在性、可測性を証明し、1次元の位置スケールモデルに対して収束速度と漸近分布を導出する。

ABSTRACT

In purely generative models, one can simulate data given parameters but not necessarily evaluate the likelihood. We use Wasserstein distances between empirical distributions of observed data and empirical distributions of synthetic data drawn from such models to estimate their parameters. Previous interest in the Wasserstein distance for statistical inference has been mainly theoretical, due to computational limitations. Thanks to recent advances in numerical transport, the computation of these distances has become feasible, up to controllable approximation errors. We leverage these advances to propose point estimators and quasi-Bayesian distributions for parameter inference, first for independent data. For dependent data, we extend the approach by using delay reconstruction and residual reconstruction techniques. For large data sets, we propose an alternative distance using the Hilbert space-filling curve, which computation scales as nlogn where n is the size of the data. We provide a theoretical study of the proposed estimators, and adaptive Monte Carlo algorithms to approximate them. The approach is illustrated on four examples: a quantile g-and-k distribution, a toggle switch model from systems biology, a Lotka-Volterra model for plankton population sizes and a L\\'evy-driven stochastic volatility model.

研究の動機と目的

• 真のデータ生成過程がモデル族に含まれない場合にも、最小 Wasserstein 距離推定の厳密な理論的枠組みを構築すること。
• 一般条件、特に不適合設定下でも最小 Wasserstein 推定量（MWE）および最小期待 Wasserstein 推定量（MEWE）の存在性、可測性、一貫性を確立すること。
• MWE の漸近理論を1次元モデルに拡張し、1次 Wasserstein 距離推定量の収束速度と漸近正規性を導出すること。
• これらの推定量を近似する際の計算的課題に対処し、実装のための実用的な数値戦略を提供すること。
• 尤度が計算不能な状況、例えば近似ベイズ計算や複雑な生成モデルにおいて、Wasserstein に基づく推論のロバスト性と実用的有用性を示すこと。

提案手法

• Bassetti ら（2006）の特別な場合として最小 Wasserstein 推定量（MWE）を提案し、標本分布とモデル分布の間の Wasserstein 距離を最小化する。
• 数値的安定性に優れる代替手法として最小期待 Wasserstein 推定量（MEWE）を導入し、シミュレートされたデータ上の期待 Wasserstein 距離を最小化する。
• epi収束および一般最小距離推定理論（Pollard, 1980）を用いて漸近的性質を導出し、尤度に基づく手法に依存しない。
• 弱収束および混合条件（α-混合）を用いて、最小限の仮定のもとで標本分布が真のデータ分布にほとんど確実に収束することを証明する。
• コンパクト性および連続性の議論を用いて、特にコンパクトなパrameter空間下で最小化子の存在と明確な分離性を確立する。
• Bassetti と Regazzini（2006）の拡張を用いて、1次元の位置スケールモデルにおける MWE の収束速度および漸近正規性を導出する。

実験結果

リサーチクエスチョン

• RQ1 真のデータ生成モデルが仮定されたモデル族に含まれない場合、最小 Wasserstein 推定量（MWE）がどのような条件下で一貫性を示すか？
• RQ2 モデルの不適合下において、MWE と MEWE の理論的性質（存在性、可測性、一貫性）にどのような相違があるか？
• RQ3 1次元の位置スケールモデルにおいて、Wasserstein 距離の1次において MWE の収束速度と漸近分布は何か？
• RQ4 特に高次元または尤度が計算不能な状況において、MEWE をどのように効果的に近似できるか？
• RQ5 尤度が計算不能な生成モデルにおいて、Wasserstein に基づく推論は尤度に基づく推論に比べてどのように優れているか、あるいは補完的であるか？

主な発見

• パrameter空間がコンパクトで、Wasserstein 距離がパrameterに関して連続である限り、最小 Wasserstein 推定量（MWE）はモデルの不適合下でも一貫性を示す。
• 最小期待 Wasserstein 推定量（MEWE）は数値的近似に適しており、MWE の一貫性および存在性の性質を継承する。
• 1次元の位置スケールモデルにおいて、MWE はパラメトリック速度 $ n^{-1/2} $ で収束し、漸近正規性を示す。これは Bassetti と Regazzini（2006）の結果を拡張する。
• 本稿では、α-混合およびモーメント条件の下で、標本 Wasserstein 距離が真の Wasserstein 距離にほとんど確実に収束することを証明し、推定量の一貫性を保証する。
• 適度な正則性条件のもとで、明確に分離された最小化子が存在する。具体的には、グローバル最小値が達成されるコンパクト部分集合が存在し、その外部で下界が厳密に小さいことが条件となる。
• 数値実験により、Wasserstein に基づく推論が、近似ベイズ計算や不適合モデルを含む尤度が計算不能な状況でもロバストであることが確認された。