[논문 리뷰] Efficient data augmentation techniques for Gaussian state space models

Linda S. L. Tan|arXiv (Cornell University)|2017. 12. 24.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 4

한 줄 요약

이 논문은 잠재 상태의 선형 변환을 통해 두 작업 파라미터(재스케일링 및 재중심화)를 사용하여 가우시안 상태공간 모델의 데이터 증강 기법을 제안한다. 누락 정보를 최소화함으로써 EM 알고리즘의 수렴 속도를 가속화한다. 최적의 파라미터는 평균만 알려져 있을 경우 즉각적인 수렴을 가능하게 하며, 이는 게밥 샘플링과 변분 베이즈로의 확장도 가능하다.

ABSTRACT

We propose a data augmentation scheme for improving the rate of convergence of the EM algorithm in estimating Gaussian state space models. The scheme is based on a linear transformation of the latent states, and two working parameters are introduced for simultaneous rescaling and re-centering. A variable portion of the mean and scale are thus being moved into the missing data. We derive optimal values of the working parameters (which maximize the speed of the EM algorithm) by minimizing the fraction of missing information. We also study the large sample properties of the working parameters and their dependence on the autocorrelation and signal-to-noise ratio. We show that instant convergence is achievable when the mean is the only unknown parameter and this result is extended to Gibbs samplers and variational Bayes algorithms.

연구 동기 및 목표

• 가우시안 상태공간 모델에서 EM 알고리즘의 수렴 속도를 향상시키는 것.
• 잠재 상태를 선형 변환을 통해 재매개변수화하는 데이터 증강 기법을 개발하는 것.
• 누락 정보의 비율을 최소화하는 최적의 작업 파라미터를 유도하는 것.
• 자기상관 및 신호대잡음비와 관련하여 작업 파라미터의 대표표본 행동을 분석하는 것.
• 수렴 결과를 게밥 샘플러 및 변분 베이즈 알고리즘으로 확장하는 것.

제안 방법

• 잠재 상태에 대한 두 개의 작업 파라미터(재스케일링 및 재중심화)를 포함하는 선형 변환을 도입한다.
• 변환을 통해 누락 데이터 성분에 평균과 스케일의 일정 비율을 재할당한다.
• EM 알고리즘에서 누락 정보의 비율을 최소화함으로써 작업 파라미터를 최적화한다.
• 대표표본 점근적 해석 하에서 최적 파라미터에 대한 해석적 표현을 유도한다.
• 최적 파라미터가 자기상관 및 신호대잡음비와 같은 모델 특성에 어떻게 의존하는지 분석한다.
• 동일한 증강 구조를 활용하여 게밥 샘플러 및 변분 베이즈로의 프레임워크 확장을 수행한다.

실험 결과

연구 질문

• RQ1 가우시안 상태공간 모델에서 EM 알고리즘의 수렴 속도를 최대화하는 잠재 상태의 선형 변환은 무엇인가?
• RQ2 재스케일링 및 재중심화를 위한 최적의 작업 파라미터는 자기상관 및 신호대잡음비와 같은 모델 파라미터에 어떻게 의존하는가?
• RQ3 이 데이터 증강 기법을 사용할 때 EM 알고리즘이 즉각적인 수렴을 달성할 수 있는 조건은 무엇인가?
• RQ4 제안된 증강 프레임워크는 게밥 샘플러 및 변분 베이즈 알고리즘으로 확장될 수 있는가?
• RQ5 누락 정보의 비율과 수렴 속도 사이의 이론적 관계는 무엇인가?

주요 결과

• 누락 정보의 비율을 최소화하는 최적의 작업 파라미터가 존재하며, 이는 EM 알고리즘의 수렴 속도를 최대화한다.
• 평균만 알려져 있을 경우, 상태공간의 구조에 관계없이 EM 알고리즘이 즉각적인 수렴을 달성할 수 있다.
• 최적의 파라미터는 자기상관 및 신호대잡음비에 따라 달라지며, 명시적인 대표표본 표현식이 도출되었다.
• 데이터 증강 기법은 게밥 샘플러 및 변분 베이즈로 자연스럽게 확장되며, 수렴 이점을 유지한다.
• 추가적인 모델 가정이나 복잡한 튜닝 없이도 수렴 속도가 크게 향상된다.