[논문 리뷰] Reversible Gromov-Monge Sampler for Simulation-Based Inference

YoonHaeng Hur, Wenxuan Guo외 1명|arXiv (Cornell University)|2021. 09. 28.

Statistical Methods and Inference참고 문헌 74인용 수 4

한 줄 요약

이 논문은 밀도 모델링 없이 이질적인 메트릭 측도 공간을 정렬하는 데 사용할 수 있는 새로운 거리 척도인 RGM(역가능한 그로모프-몬제) 샘플러를 소개한다. 이 방법은 신경망을 통한 전이 지도를 통해 원천 및 목표 분포를 연결하는 역가능한 운반 비용을 최소화함으로써 최적의 정렬을 달성하고 고품질의 샘플을 생성한다. RGM 거리는 온건한 조건 하에서 고전적인 그로모프-워샤르의 거리와 밀접하게 근사되며, MNIST 및 시뮬레이션 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

This paper introduces a new simulation-based inference procedure to model and sample from multi-dimensional probability distributions given access to i.i.d.\ samples, circumventing the usual approaches of explicitly modeling the density function or designing Markov chain Monte Carlo. Motivated by the seminal work on distance and isomorphism between metric measure spaces, we propose a new notion called the Reversible Gromov-Monge (RGM) distance and study how RGM can be used to design new transform samplers to perform simulation-based inference. Our RGM sampler can also estimate optimal alignments between two heterogeneous metric measure spaces $(\cX, μ, c_{\cX})$ and $(\cY, ν, c_{\cY})$ from empirical data sets, with estimated maps that approximately push forward one measure $μ$ to the other $ν$, and vice versa. We study the analytic properties of the RGM distance and derive that under mild conditions, RGM equals the classic Gromov-Wasserstein distance. Curiously, drawing a connection to Brenier's polar factorization, we show that the RGM sampler induces bias towards strong isomorphism with proper choices of $c_{\cX}$ and $c_{\cY}$. Statistical rate of convergence, representation, and optimization questions regarding the induced sampler are studied. Synthetic and real-world examples showcasing the effectiveness of the RGM sampler are also demonstrated.

연구 동기 및 목표

• 다차원 시뮬레이션 기반 추론에서 전통적인 MCMC 및 밀도 기반 방법의 한계를 해결하기 위해.
• 변환 샘플링에서 한 분포를 다른 분포로 옮기는 데 무수히 많은 지도가 존재하는 과정적 식별 문제를 해결하기 위해.
• 이질적인 메트릭 측도 공간 간의 최적 정렬을 가능하게 하는 새로운 거리 척도인 역가능한 그로모프-몬제(RGM)를 도입하기 위해.
• 강한 동형사상과 운반 비용을 최소화하는 전이 지도를 학습하기 위한 원칙적이고 미분 가능한 프레임워크를 제공하기 위해.
• RGM과 고전적인 그로모프-워샤르의 거리 간의 이론적 및 경험적 연결을 수립하기 위해.

제안 방법

• 두 메트릭 측도 공간 $(\mathcal{X},\mu,c_{\mathcal{X}})$ 와 $(\mathcal{Y},\nu,c_{\mathcal{Y}})$ 간의 정렬 정도를 측정하는 대칭적이고 미분 가능한 척도로 역가능한 그로모프-몬제(RGM) 거리를 제안한다.
• RGM 최적화 문제를 정의하며, 연속된 거리의 이질성에 대한 손실 $C_0(F,B)$ 와 MMD를 통한 분포 일치를 강제하는 항 $m_k$ 를 포함한 복합 비용 함수 $C(F,B) = C_0(F,B) + \sum_{k=1}^3 \lambda_k m_k$ 를 최소화한다.
• 전결합 신경망 $F: \mathbb{R}^{784} \to \mathbb{R}^{784}$ 와 $B: \mathbb{R}^{784} \to \mathbb{R}^4$ 를 사용해 전이 지도를 매개변수화하고, 고정된 초모수를 사용한 확률적 최적화로 학습한다.
• 독립 동일분포 샘플에서 유도된 경험 측도 $\widehat{\mu}_m$ 와 $\widehat{\nu}_n$ 을 사용해 RGM 거리를 추정하고 지도를 최적화한다.
• 브레니에의 극성 분해 이론과 이론적 연결을 유도하며, 적절한 거리 선택 조건 하에서 RGM 이 동형사상을 선호하고 운반 비용을 최소화함을 보여준다.
• RGM과 GW 거리 간 격차를 추정하기 위해 그로모프-워샤르의 하한(FLB 및 SLB)을 사용하여 RGM의 일致성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 밀도 모델링 없이도 이질적인 메트릭 측도 공간 간의 최적 정렬을 가능하게 하는 대칭적 거리 척도를 새롭게 정의할 수 있는가?
• RQ2 온건한 정규성 조건 하에서 RGM 거리는 고전적인 그로모프-워샤르의 거리와 어떻게 관련이 있는가?
• RQ3 RGM 프레임워크는 비용 측면에서 최적화되면서도 구조적으로 단순한 전이 지도를 유도할 수 있는가? 이는 동형사상에 대한 인도적 편향을 만족하는가?
• RQ4 유한 표본 설정에서 RGM 샘플러의 통계 수렴 속도와 최적화 안정성은 어떠한가?
• RQ5 실제 데이터인 MNIST와 같은 실세계 데이터에서 RGM 샘플러는 기준 방법 대비 얼마나 현실적인 샘플을 생성하는가?

주요 결과

• 온건한 조건 하에서 RGM 거리가 그로모프-워샤르의 거리와 동일함을 입증하여, 이 거리 척도의 정렬 응용에 대한 이론적 기반을 확립하였다.
• MNIST 데이터셋에서 RGM 샘플러는 제곱 거리 약 0.719를 기록하였으며, 경험적 추정치로 $\mathrm{RGM}^2(\mu,\nu) \approx 0.719$ 로 나타났다.
• 그로모프-워샤르의 거리에 대한 하한(SLB)은 0.148로 추정되었으며, 이는 RGM 거리가 GW 거리의 최대 2.204배 이내임을 의미하여 강력한 정렬을 시사한다.
• 시뮬레이션 및 실세계 데이터 모두에서 효과적인 샘플 생성 성능을 보였으며, MMD 손실이 $1.5 \times 10^{-3}$ 이하로 유지되어 분포의 정밀도가 매우 높음을 나타냈다.
• 적절한 거리 선택 조건 하에서 RGM 프레임워크는 $c_{\mathcal{X}}$ 와 $c_{\mathcal{Y}}$ 가 잘 선택될 경우 강한 동형사상에 대한 편향을 유도하며, 브레니에의 최적 운반 이론과 일치한다.
• 최적화 과정은 안정적으로 수렴하였으며, 경험적 추정 하에서 RGM 목적 함수 값이 0.719에 도달하여 실용적 타당성을 뒷받침한다.