[논문 리뷰] Particle Smoothing Variational Objectives

Antonio Khalil Moretti, Zizhao Wang외 3명|arXiv (Cornell University)|2019. 09. 20.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 7

한 줄 요약

이 논문은 비선형 상태공간 모델에서 변분 추론을 향상시키기 위해 입자 다양성과 제안 분포 지원을 향상시켜 신호 대 잡음비(SNR) 열화를 완화하는 새로운 후방 샘플링 SMC 방법인 입자 스무딩 변분 목표(SVO)를 소개한다. SVO는 더 적은 몬테카를로 샘플 수로도 필터링 목표보다 뛰어난 성능을 달성하며, 특히 샘플 수 K가 증가함에 따라 SNR 열화를 완화하는 편향된 기울기 추정기 사용으로 성능을 향상시킨다.

ABSTRACT

A body of recent work has focused on constructing a variational family of filtered distributions using Sequential Monte Carlo (SMC). Inspired by this work, we introduce Particle Smoothing Variational Objectives (SVO), a novel backward simulation technique and smoothed approximate posterior defined through a subsampling process. SVO augments support of the proposal and boosts particle diversity. Recent literature argues that increasing the number of samples K to obtain tighter variational bounds may hurt the proposal learning, due to a signal-to-noise ratio (SNR) of gradient estimators decreasing at the rate $\mathcal{O}(1/\sqrt{K})$. As a second contribution, we develop theoretical and empirical analysis of the SNR in filtering SMC, which motivates our choice of biased gradient estimators. We prove that introducing bias by dropping Categorical terms from the gradient estimate or using Gumbel-Softmax mitigates the adverse effect on the SNR. We apply SVO to three nonlinear latent dynamics tasks and provide statistics to rigorously quantify the predictions of filtered and smoothed objectives. SVO consistently outperforms filtered objectives when given fewer Monte Carlo samples on three nonlinear systems of increasing complexity.

연구 동기 및 목표

• 몬테카를로 샘플 수 K를 늘릴수록 신호 대 잡음비(SNR) 감소로 인해 학습 성능이 악화되는 비선형 동적 시스템에서 필터링된 변분 목표의 한계를 해결하기 위해.
• 전체 관측 시퀀스에 조건을 두어 잠재 상태의 스무딩 사후분포를 개선하고, 사후 근사와 예측 정확도를 향상시키기 위해 스무딩된 변분 목표를 개발하기 위해.
• 필터링 SMC에서 기울기 추정기의 SNR를 분석하며, 특히 리샘플링과 Categorical 재정의의 영향을 조사하기 위해.
• 입자 다양성을 향상시키고 더 표현력 있는 변분 근사 가능성을 제공하는 새로운 후방 샘플링 알고리즘을 제안하고 검증하기 위해.

제안 방법

• 전체 관측 시퀀스에 조건을 두어 잠재 상태에 대한 스무딩 사후분포를 구성하기 위한 재귀적 후방 샘플링 알고리즘을 제안한다.
• 제안 분포의 지원을 강화하고 입자 다양성을 향상시키기 위해 서브샘플링 프로세스를 도입한다.
• 분산을 줄이고 학습을 안정화시키기 위해 Categorical 항을 생략하거나 Gumbel-Softmax 리프레젠테이션을 사용하여 편향된 기울기 추정기를 활용한다.
• 이론적 분석을 통해 리샘플링 단계 덕분에 필터링 SMC에서 SNR 열화가 발생하지 않음을 증명하며, 편향된 추정기의 사용을 정당화한다.
• 목표 네트워크와 추론 네트워크에 별도의 진화 네트워크를 사용하여 학습 안정성과 성능을 향상시킨다.
• 로렌츠 애트랙터와 전기생리학 데이터를 포함한 비선형 시스템에 SVO를 적용하고, 예측 정확도와 ELBO 점수를 평가한다.

실험 결과

연구 질문

• RQ1 표준 필터링 접근 방식에 비해 후방 샘플링 SMC 방법이 비선형 상태공간 모델에서 변분 추론을 향상시킬 수 있는가?
• RQ2 입자 수 K가 증가함에 따라 필터링 SMC에서 기울기 추정기의 신호 대 잡음비(SNR)는 어떻게 변화하는가?
• RQ3 Categorical 항을 생략하거나 Gumbel-Softmax를 사용하여 기울기 추정기에 편향을 도입하면 SMC 기반 VI에서 SNR와 학습 안정성이 향상되는가?
• RQ4 필터링 목표에 비해 더 적은 몬테카를로 샘플 수를 사용할 때 SVO는 예측 성능과 ELBO 값을 얼마나 향상시키는가?
• RQ5 제한된 입자 수로도 SVO는 혼돈 시스템과 생물학적 신경 데이터와 같은 복잡한 비선형 역학을 효과적으로 모델링할 수 있는가?

주요 결과

• SVO는 K=2개의 입자조차도 AESMC나 GfLDS(256개의 입자 사용)보다 더 높은 ELBO 점수와 예측 정확도를 기록하며 일관되게 필터링 목표를 능가한다.
• 로렌츠 애트랙터에서 SVO는 K=2, M=2로도 AESMC(K=256)보다 높은 R² 점수를 기록하여 뛰어난 샘플 효율성을 입증한다.
• 전기생리학 데이터에서는 SVO가 허브폴라라이제이션과 디폴라라이제이션과 같은 비선형 역학을 정확히 포착하며, 예측 R²에서 GfLDS와 AESMC를 모두 능가한다.
• 실험적 SNR 분석 결과, 비편향된 Categorical 기울기 추정기는 K가 증가함에 따라 분산이 크고 SNR가 열화되는 반면, 편향된 추정기(Gumbel-Softmax, 고정된 λ 값 사용)는 안정적인 SNR를 유지한다.
• 이론적 분석을 통해 리샘플링 단계 덕분에 필터링 SMC에서 SNR 열화가 발생하지 않음을 확인하며, 편향된 추정기의 사용을 정당화한다.
• 제안 네트워크와 목표 네트워크에 별도의 진화 네트워크를 사용함으로써, 특히 K가 낮을 경우 공유 네트워크보다 성능 향상이 두드러진다.