[논문 리뷰] Sequential Monte Carlo Methods for System Identification

Thomas B. Schön, Fredrik Lindsten외 5명|arXiv (Cornell University)|2015. 03. 20.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 48인용 수 31

한 줄 요약

이 논문은 입자 필터링, 주변화 전략 및 데이터 증강 기법을 조합하여 비선형 및 비정규 상태공간 모델에서의 시스템 식별을 위한 순차적 몽테카를로(SMC) 방법을 제시한다. SMC가 은닉 상태가 추정이 불가능한 상태공간 모델에서 베이지안 추정과 최대우도 추정을 효율적으로 가능하게 하여, 복잡한 동적 시스템에서의 매개변수 추론을 위한 최신 기법을 이룩한다.

ABSTRACT

One of the key challenges in identifying nonlinear and possibly non-Gaussian state space models (SSMs) is the intractability of estimating the system state. Sequential Monte Carlo (SMC) methods, such as the particle filter (introduced more than two decades ago), provide numerical solutions to the nonlinear state estimation problems arising in SSMs. When combined with additional identification techniques, these algorithms provide solid solutions to the nonlinear system identification problem. We describe two general strategies for creating such combinations and discuss why SMC is a natural tool for implementing these strategies.

연구 동기 및 목표

• 비선형 및 비정규 상태공간 모델-SSM에서 은닉 상태 추정이 불가능한 문제에 대응하기 위해.
• 표준 해석적 해법(예: 칼만 필터)이 적용되지 않는 SSM에 대한 강력한 시스템 식별 기법을 개발하기 위해.
• 매개변수 추정을 위해 순차적 몽테카를로(SMC) 방법을 주변화 및 데이터 증강 전략과 통합하기 위해.
• 시스템 식별에서 입자 필터링을 최적화 및 샘플링 기법과 조합하는 원칙적인 프레임워크를 제공하기 위해.
• 비선형 SSM에서 베이지안 및 최대우도 설정 모두에 대해 SMC 기반 알고리즘이 효과적임을 입증하기 위해.

제안 방법

• 비선형 및 비정규 SSM에서 은닉 상태의 사후분포를 근사하기 위해 순차적 몽테카를로(SMC) 방법, 특히 입자 필터를 활용한다.
• 상태를 통합하여 매개변수만을 미지로 간주함으로써 주변화를 사용하여 최대우도 및 베이지안 추론을 SMC를 통해 가능하게 한다.
• 상태를 보조 변수로 간주하여 데이터 증강을 적용하고, 입자 지브스 및 입자 마르코프 체인 몬테카를로(PMCMC)를 사용해 사후분포 샘플링을 수행한다.
• 상태 및 매개변수의 사후분포 샘플링의 혼합성과 효율성을 향상시키기 위해 PGAS(변형된 군집 보조 입자 필터) 알고리즘을 구현한다.
• 입자 궤적에서 충분통계량의 스토하스틱 근사를 유도하여 EM 유사 알고리즘에서의 재귀적 업데이트를 가능하게 한다.
• 제약 조건 |φ| ≤ 1을 포함하여, 입자 궤적을 기반으로 한 공동 사후분포에서 샘플링을 위해 도구 분포를 사용한 기각 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 순차적 몽테카를로(SMC) 방법을 주변화와 효과적으로 조합하여 비선형 시스템 식별 문제를 해결할 수 있는가?
• RQ2 데이터 증강 및 입자 지브스 샘플링은 비선형 및 비정규 상태공간 모델에서의 베이지안 추론을 어떻게 가능하게 하는가?
• RQ3 입자 필터링은 어떻게 시스템 식별에서 추정이 불가능한 우도 및 충분통계량을 근사하는 데 사용되는가?
• RQ4 비선형 시스템 식별에서 SMC 기반 EM 및 PMCMC의 계산적 및 통계적 이점은 무엇인가?
• RQ5 PGAS 알고리즘은 고차원 비선형 SSM에서 사후분포 샘플링의 효율성과 수렴성을 어떻게 향상시키는가?

주요 결과

• SMC 방법, 특히 입자 필터링은 비선형 및 비정규 SSM에서 추정이 불가능한 상태 추정 문제에 대해 수치적으로 안정적인 해결책을 제공한다.
• PGAS 알고리즘은 상태 및 매개변수의 사후분포 샘플링을 효율적으로 가능하게 하여 베이지안 추론에서 혼합성과 수렴성을 크게 향상시킨다.
• 입자 궤적에서 유도된 충분통계량의 스토하스틱 근사는 SSM에서 EM 유사 알고리즘의 재귀적이고 확장 가능한 구현을 가능하게 한다.
• 선형 정규 SSM 예제에서 정확한 매개변수 추정을 달성하였으며, 최적의 매개변수 추정치는 φ ≈ Ψ/Σ 및 τ ≈ (Φ − Ψ²/Σ)⁻¹에 의해 근사된다.
• 절단 정규분포 및 감마분포를 도구 분포로 사용한 기각 샘플링은 제약 조건 하에 공동 매개변수 분포에서 유효한 사후 샘플을 도출할 수 있게 한다.
• SMC를 주변화 및 데이터 증강 전략과 조합함으로써 비선형 시스템 식별에서 최신 기술 성능을 달성하였으며, 특히 해석적 해법이 실패하는 경우에 뛰어난 성능을 발휘한다.