[논문 리뷰] Approximate inference with Wasserstein gradient flows

Charlie Frogner, Tomaso Poggio|arXiv (Cornell University)|2018. 06. 12.

Model Reduction and Neural Networks참고 문헌 24인용 수 10

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 워샤프스키 경사 하강법을 사용하여 비선형 확산 과정에 대한 이산화 없이 근사 추론하는 방법을 제안한다. 시간 이산화된 워샤프스키 경사 하강법의 정규화된 이중 문제를 설정함으로써, 도메인 이산화 없이도 스케일러블하고 고차원적인 추론이 가능해지며, 다모드 사후 분포에서 최신 필터링 기법과 유사한 성능을 달성한다.

ABSTRACT

We present a novel approximate inference method for diffusion processes, based on the Wasserstein gradient flow formulation of the diffusion. In this formulation, the time-dependent density of the diffusion is derived as the limit of implicit Euler steps that follow the gradients of a particular free energy functional. Existing methods for computing Wasserstein gradient flows rely on discretization of the domain of the diffusion, prohibiting their application to domains in more than several dimensions. We propose instead a discretization-free inference method that computes the Wasserstein gradient flow directly in a space of continuous functions. We characterize approximation properties of the proposed method and evaluate it on a nonlinear filtering task, finding performance comparable to the state-of-the-art for filtering diffusions.

연구 동기 및 목표

• 기존 방법의 도메인 이산화로 인해 제한되는 고차원 확산 과정에서의 근사 추론 문제를 해결하기 위해.
• 격자 기반의 상태 공간 이산화를 피하는 스케일러블한 추론 프레임워크를 개발하기 위해.
• 연속 함수 공간을 사용하여 비선형 확산 과정에서 시간에 따라 변화하는 확률 밀도를 정확하게 근사하기 위해.
• 비선형 필터링 과제에서 다모드 사후 분포에 대한 제안된 방법의 이론적 및 실증적 성능을 규명하기 위해.

제안 방법

• 정규화된 워샤프스키 거리와 자유 에너지 기능을 최소화하는 변분 문제로서 워샤프스키 경사 하강법을 설정한다.
• 해결 가능성이 있는 최적화를 가능하게 하기 위해 엄격히 볼록하고 매끄러운 정규화자를 사용하여 시간 이산화된 경사 하강법의 이중 형태를 유도한다.
• 도메인 이산화를 피하고 고차원 추론을 가능하게 하기 위해 재생 커널 힐버트 공간(RKHS)에서 직접 작동한다.
• 커널 기반 함수 표현을 사용하여 RKHS 함수에 대한 유한 차원 최적화를 통해 이중 문제를 근사한다.
• 몬테 카를로 샘플링을 사용한 확률적 최적화로 정규화된 목적 함수를 근사한다.
• 예측 밀도를 정방향 확산을 통해 반복적으로 갱신하고 우도를 곱하여 비선형 필터링에 적용한다.

실험 결과

연구 질문

• RQ1 정규화된 워샤프스키 경사 하강법에 기반한 이산화 없는 방법이 고차원 확산 과정에서 정확한 추론을 달성할 수 있는가?
• RQ2 비선형 및 다모드 확산 과정에서 제안된 방법의 성능은 최신 필터링 기법과 비교해 어떻게 되는가?
• RQ3 정규화와 시간 단계 크기가 워샤프스키 경사 하강법의 근사 정확도에 미치는 영향은 무엇인가?
• RQ4 기존 필터링 방법(예: 칼만 필터 또는 입자 필터)이 어려움을 겪는 다모드 사후 분포를 효과적으로 포착할 수 있는가?

주요 결과

• 제안된 방법은 고차원 설정에서도 1000개의 입자를 사용하는 시뮬레이션 기반 방법과 유사한 대칭 KL 발산을 달성한다.
• 비선형 및 다모드 필터링 과제에서 확률적 및 정량적 지표 모두에서 확장된 및 언스캔티드 칼만 필터, 가우시안 합 필터, 보팅 입자 필터보다 성능이 뛰어나다.
• 워샤프스키 경사 하강법은 다모드 사후 분포를 정확히 포착하지만, 기준 방법들은 가우시안 가정이나 입자 고갈로 인해 다중 모드를 표현하지 못한다.
• 해당 방법은 차원 수에 따라 효과적으로 스케일업되며, 입자 시뮬레이션과 유사한 성능을 유지하면서 증가하는 도메인 차원에서도 정확도를 유지한다.
• 정규화와 시간 단계 크기가 주요 오차 원인이지만, γ = 10⁻⁶ 및 τ = 1/4 또는 1/5와 같은 실용적 설정에서도 강인하고 정확한 성능을 유지한다.
• 실증 결과는 100회의 반복 실험 전반에서 필터링 정밀도에서 일관된 우수성을 보이며, 워샤프스키 흐름 방법이 모든 기준 방법보다 낮은 대칭 KL 발산을 달성한다.