[논문 리뷰] Inference in generative models using the Wasserstein distance

Espen Bernton, Pierre Jacob외 2명|arXiv (Cornell University)|2017. 01. 18.

Complex Systems and Time Series Analysis참고 문헌 2인용 수 30

한 줄 요약

이 논문은 생성 모델에서 워샤프스키 거리(Wasserstein distance)를 사용한 매개변수 추정의 이론적 기초를 수립하며, 최소 워샤프스키 추정자(MWE)와 최소 기대 워샤프스키 추정자(MEWE)를 제안한다. 모델 불일치 상황에서도 일致성, 존재성, 가측성을 증명하였으며, 일차원 위치척도 모델에 대해 수렴 속도와 점근 분포를 도출하였다.

ABSTRACT

In purely generative models, one can simulate data given parameters but not necessarily evaluate the likelihood. We use Wasserstein distances between empirical distributions of observed data and empirical distributions of synthetic data drawn from such models to estimate their parameters. Previous interest in the Wasserstein distance for statistical inference has been mainly theoretical, due to computational limitations. Thanks to recent advances in numerical transport, the computation of these distances has become feasible, up to controllable approximation errors. We leverage these advances to propose point estimators and quasi-Bayesian distributions for parameter inference, first for independent data. For dependent data, we extend the approach by using delay reconstruction and residual reconstruction techniques. For large data sets, we propose an alternative distance using the Hilbert space-filling curve, which computation scales as nlogn where n is the size of the data. We provide a theoretical study of the proposed estimators, and adaptive Monte Carlo algorithms to approximate them. The approach is illustrated on four examples: a quantile g-and-k distribution, a toggle switch model from systems biology, a Lotka-Volterra model for plankton population sizes and a L\\'evy-driven stochastic volatility model.

연구 동기 및 목표

• 진정한 데이터 생성 과정이 모델 가족에 포함되지 않을 경우에도 최소 워샤프스키 거리 추정의 엄밀한 이론적 프레임워크를 구축하는 것.
• 일반 조건, 특히 불일치 설정 하에서 최소 워샤프스키 추정자(MWE)와 최소 기대 워샤프스키 추정자(MEWE)의 존재성, 가측성, 일치성을 확립하는 것.
• MWE의 점근 이론을 일차원 모델로 확장하여, 1차 워샤프스키 거리 추정자에 대한 수렴 속도와 점근 정규성을 도출하는 것.
• 이러한 추정자의 근사화에 따른 계산적 과제를 다루고, 구현을 위한 실용적인 수치 전략을 제공하는 것.
• 불가항력적 우도가 존재하는 상황, 예를 들어 근사 베이지안 계산과 복잡한 생성 모델에서 워샤프스키 기반 추론의 강건성과 실용적 유용성을 보여주는 것.

제안 방법

• Bassetti 등(2006)의 특수한 경우로 최소 워샤프스키 추정자(MWE)를 제안하며, 경험 분포와 모델 분포 사이의 워샤프스키 거리를 최소화한다.
• 수치적으로 더 안정적인 대안으로 최소 기대 워샤프스키 추정자(MEWE)를 도입하며, 시뮬레이션된 데이터 위에서 기대 워샤프스키 거리를 최소화한다.
• 에피수렴과 일반 최소 거리 추정 이론(Pollard, 1980)을 활용해 점근적 성질을 도출하며, 우도 기반 방법에 의존하지 않는다.
• 약한 수렴과 혼합 조건(α-혼합)을 사용하여, 최소한의 가정 하에 경험 분포가 진짜 데이터 분포로 거의 확실히 수렴함을 증명한다.
• 콤���트성과 연속성의 논증을 통해, 특히 콤팩트 매개변수 공간 하에서 최소화자의 존재성과 잘 분리된 성질을 확립한다.
• Bassetti와 Regazzini(2006)의 확장 기법을 활용하여 일차원 위치척도 모델에서 MWE의 수렴 속도와 점근 정규성을 도출한다.

실험 결과

연구 질문

• RQ1 진짜 데이터 생성 모델이 가정된 모델 가족에 포함되지 않을 경우, 최소 워샤프스키 추정자(MWE)가 어떤 조건에서 일치성을 가질 수 있는가?
• RQ2 모델 불일치 상황에서 MWE와 MEWE의 존재성, 가측성, 일치성에 대한 이론적 성질은 어떻게 다를까?
• RQ3 1차 워샤프스키 거리 기반으로, 일차원 위치척도 모델에서 MWE의 수렴 속도와 점근 분포는 무엇인가?
• RQ4 특히 고차원 또는 우도가 불가항력인 상황에서 MEWE는 어떻게 효과적으로 근사할 수 있는가?
• RQ5 불가항력적 우도가 존재하는 생성 모델에서 워샤프스키 기반 추론은 우도 기반 추론보다 어떻게 우월하거나 보완하는가?

주요 결과

• 매개변수 공간이 콤팩트하고 워샤프스키 거리가 매개변수에 대해 연속일 경우, 최소 워샤프스키 추정자(MWE)는 모델 불일치 상황에서도 일치성 존재.
• 최소 기대 워샤프스키 추정자(MEWE)는 수치 근사에 적합하며, MWE의 일치성과 존재성 성질을 그대로 이어받는다.
• 일차원 위치척도 모델에서 MWE는 파arametric 속도 $ n^{-1/2} $ 로 수렴하며 점근 정규성을 가지며, Bassetti와 Regazzini(2006)의 결과를 확장한다.
• 논문은 α-혼합과 모멘트 조건 하에서 경험 워샤프스키 거리가 거의 확실히 진짜 워샤프스키 거리로 수렴함을 증명하여 추정자의 일치성을 보장한다.
• 일반적인 정규성 조건 하에서, 예를 들어 전역 최소값이 존재하는 콤팩트 부분집합이 존재하고, 이 집합 외부에서는 하한값이 엄격히 작을 경우, 잘 분리된 최소화자가 존재한다.
• 수치 실험을 통해 워샤프스키 기반 추론이 근사 베이지안 계산과 잘못된 모델 설정 등 우도가 불가항력인 상황에서도 강건함을 확인하였다.