[논문 리뷰] Sampling via Gradient Flows in the Space of Probability Measures

Yifan Chen, Daniel Zhengyu Huang외 3명|arXiv (Cornell University)|2023. 10. 05.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 정규화 상수가 알려져 있지 않은 타겟 분포를 샘플링하기 위해 확률 측도 공간에서의 기울기 유동을 조사한다. 정규화에 대한 불변성 덕분에 f-발산 중에서 KL 발산이 유일하게 유리한 것으로 규명되며, 이는 비대칭 분포의 샘플링을 향상시키기 위해 애फ인-불변 워셔스테인 및 스타인 기울기 유동을 도입하고, 효율적인 가우시안 근사 방법을 개발한다. 이는 로그-볼록 및 가우시안 타겟 분포에서 뛰어난 성능을 보이며, 다모달 또는 굴곡진 다양체 위에 존재하는 분포에서는 한계가 드러난다.

ABSTRACT

Sampling a target probability distribution with an unknown normalization constant is a fundamental challenge in computational science and engineering. Recent work shows that algorithms derived by considering gradient flows in the space of probability measures open up new avenues for algorithm development. This paper makes three contributions to this sampling approach by scrutinizing the design components of such gradient flows. Any instantiation of a gradient flow for sampling needs an energy functional and a metric to determine the flow, as well as numerical approximations of the flow to derive algorithms. Our first contribution is to show that the Kullback-Leibler divergence, as an energy functional, has the unique property (among all f-divergences) that gradient flows resulting from it do not depend on the normalization constant of the target distribution. Our second contribution is to study the choice of metric from the perspective of invariance. The Fisher-Rao metric is known as the unique choice (up to scaling) that is diffeomorphism invariant. As a computationally tractable alternative, we introduce a relaxed, affine invariance property for the metrics and gradient flows. In particular, we construct various affine invariant Wasserstein and Stein gradient flows. Affine invariant gradient flows are shown to behave more favorably than their non-affine-invariant counterparts when sampling highly anisotropic distributions, in theory and by using particle methods. Our third contribution is to study, and develop efficient algorithms based on Gaussian approximations of the gradient flows; this leads to an alternative to particle methods. We establish connections between various Gaussian approximate gradient flows, discuss their relation to gradient methods arising from parametric variational inference, and study their convergence properties both theoretically and numerically.

연구 동기 및 목표

• 확률 측도 공간에서의 기울기 유동 설계 원리를 이해하기 위해.
• 왜 쿨백-라이블러(KL) 발산이 샘플링에 있어 f-발산 중에서 특별히 유리한가를 규명하기 위해.
• 특히 비대칭적이고 도전적인 타겟 분포에 대해 기울기 유동 성능에 영향을 주는 메트릭의 불변성 역할을 조사하기 위해.
• 입자 방법의 계산 비용을 줄이기 위해 기울기 유동의 가우시안 근사를 통해 효율적인 대체 방법을 개발하기 위해.
• 다양한 타겟 분포에 대해 애फ인-불변 기울기 유동과 그 가우시안 근사의 수렴성 및 정확도를 평가하기 위해.

제안 방법

• 에너지 함수와 메트릭 텐서를 사용하여 샘플링을 확률 측도 공간에서의 기울기 유동으로 공식화하기 위해.
• 타겟 분포의 정규화 상수가 변하더라도 기울기 유동이 불변인 유일한 f-발산이 KL 발산임을 증명하기 위해.
• 메트릭에 대한 이완된 애फ인-불변 성질을 정의하고, 미분형 불변 유동의 계산 가능 대체 방법으로서 애फ인-불변 워셔스테인 및 스타인 기울기 유동을 제안하기 위해.
• 연속 시간 기울기 유동을 가우시안의 매개변수 가족에 투영하여 가우시안 근사 기울기 유동을 개발함으로써 효율적인 구현을 가능하게 하기 위해.
• 입자 방법을 사용하여 전체 기울기 유동을 수치적으로 근사하고, 다양한 메트릭과 타겟 분포 간의 수렴 행동을 비교하기 위해.
• 가우시안 근사 피셔-라이오 기울기 유동의 이론적 수렴 속도를 확립하고, 이와 매개변수화된 변분 추론 방법과의 관계를 규명하기 위해.

실험 결과

연구 질문

• RQ1 왜 쿨백-라이블러 발산이 확률 측도 공간에서의 샘플링에 적합한 에너지 기능으로서 특별히 유리한가?
• RQ2 특히 미분형과 애फ인-불변성 등의 불변성 특성이 기울기 유동의 수렴 행동에 샘플링 응용에서 어떤 영향을 미치는가?
• RQ3 워셔스테인 및 스타인 메트릭을 사용하여 애फ인-불변 기울기 유동을 구성할 수 있으며, 이는 고도로 비대칭적인 분포의 샘플링에서 비-불변 대비 성능이 뛰어나게 되는가?
• RQ4 기울기 유동의 가우시안 근사는 입자 기반 구현의 스케일러블한 대체 방법으로서 얼마나 효과적인가?
• RQ5 비가우시안, 다모달 또는 굴곡진 다양체에 존재하는 사후분포를 샘플링할 때 애फ인-불변 가우시안 근사의 한계는 무엇인가?

주요 결과

• KL 발산은 타겟 분포의 정규화 상수가 변하더라도 기울기 유동이 불변인 유일한 f-발산이므로, 샘플링에서 널리 사용되는 데에 타당한 근거를 제공한다.
• 피셔-라이오 메트릭은 일반적인 조건 하에서 균일한 지수 수렴을 보장하는 유일한(스케일링을 제외한) 미분형 불변 메트릭이지만, 입자 구현은 매우 비현실적이다.
• 애फ인-불변 워셔스테인 및 스타인 기울기 유동이 구성되었으며, 이는 이론적·수치적으로 고도로 비대칭적인 분포의 샘플링에서 비-애फ인-불변 대비 뛰어난 성능을 보였다.
• 애फ인-불변 성질을 계승한 가우시안 근사 피셔-라이오 기울기 유동은 $L^2$ 오차와 공분산 오차 측정 기준으로 가우시안 및 로그-볼록 타겟 분포에서 강력한 수렴성과 정확도를 보였다.
• 일반적인 사후분포—특히 다모달 또는 로젠브룩 함수처럼 굴곡진 다양체에 집중된 분포—에서는 가우시안 근사가 진짜 사후분포를 포괄하지 못하여 그 한계를 드러냈다.
• 현재의 애फ인-불변 가우시안 방법 범위를 넘어서는 복잡한 사후 기하학을 다루기 위해 가우시안 혼합 모델과 같은 고급 근사 방법이 필요하다는 점을 이 연구는 규명했다.