[논문 리뷰] An adaptive ensemble filter for heavy-tailed distributions: tuning-free inflation and localization

Mathieu Le Provost, Ricardo Baptista외 2명|arXiv (Cornell University)|2023. 10. 12.

Target Tracking and Data Fusion in Sensor NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 비선형 상태공간 모델에서 체중이 무거운 잡음이 존재할 때 t-분포에 대한 정확한 추론을 가능하게 하는 적응형 앙상블 필터인 EnRF를 제안한다. 측도 이동과 l1-패널티가 가미된 정규화된 기대최대화(EM) 알고리즘을 활용하여 수동 校정 없이 불확실성 확대(inflation)와 국소화(localization)를 적응적으로 조정하며, 합성 무거운 尾部 분포 시나리오에서 표준 EnKF보다 뛰어난 성능을 보이며, 가우시안 극한에서는 칼만 필터 성능을 복원한다.

ABSTRACT

Heavy tails is a common feature of filtering distributions that results from the nonlinear dynamical and observation processes as well as the uncertainty from physical sensors. In these settings, the Kalman filter and its ensemble version - the ensemble Kalman filter (EnKF) - that have been designed under Gaussian assumptions result in degraded performance. t-distributions are a parametric family of distributions whose tail-heaviness is modulated by a degree of freedom $ν$. Interestingly, Cauchy and Gaussian distributions correspond to the extreme cases of a t-distribution for $ν= 1$ and $ν= \infty$, respectively. Leveraging tools from measure transport (Spantini et al., SIAM Review, 2022), we present a generalization of the EnKF whose prior-to-posterior update leads to exact inference for t-distributions. We demonstrate that this filter is less sensitive to outlying synthetic observations generated by the observation model for small $ν$. Moreover, it recovers the Kalman filter for $ν= \infty$. For nonlinear state-space models with heavy-tailed noise, we propose an algorithm to estimate the prior-to-posterior update from samples of joint forecast distribution of the states and observations. We rely on a regularized expectation-maximization (EM) algorithm to estimate the mean, scale matrix, and degree of freedom of heavy-tailed extit{t}-distributions from limited samples (Finegold and Drton, arXiv preprint, 2014). Leveraging the conditional independence of the joint forecast distribution, we regularize the scale matrix with an $l1$ sparsity-promoting penalization of the log-likelihood at each iteration of the EM algorithm. By sequentially estimating the degree of freedom at each analysis step, our filter can adapt its prior-to-posterior update to the tail-heaviness of the data. We demonstrate the benefits of this new ensemble filter on challenging filtering problems.

연구 동기 및 목표

• 비선형 역학과 비가우시안 잡음으로 인해 앙상블 칼만 필터(EnKF)의 성능이 떨어지는 시스템에서의 성능 저하 문제를 해결하기 위해.
• 가우시안 및 코시 분포를 일반화하는 t-분포 가정 하에 정확한 추론을 가능하게 하는 필터링 알고리즘을 개발하기 위해.
• t-분포의 자유도 및 희소 공분산 구조 추정을 통해 불확실성 확대 및 국소화 파rameter의 수동 조정이 필요 없도록 데이터 기반으로 적응적으로 조정하기 위해.
• t-분포의 자유도 파rameter ν를 통해 꼬리의 두께를 명시적으로 모델링하여 합성 관측치에서 이상치에 대한 강건성을 향상시키기 위해.
• 측도 이동 이론을 앙상블 필터링과 통합하여 비가우시안 구조를 유지하는 사전에서 사후로의 변환을 유도하기 위해.

제안 방법

• EnRF는 t-분포 이론에서 유도된 변환을 통해 예측 샘플을 사후 샘플로 매핑하는 운반 지도 기반 분석 단계를 사용하여, t-분포 가정 하에 정확한 추론을 가능하게 한다.
• 제한된 앙상블 샘플로부터 t-분포의 공동 평균, 척도 행렬, 자유도 ν를 정규화된 기대최대화(EM) 알고리즘을 통해 추정한다.
• EM 알고리즘은 척도 행렬의 비대각성 항목에 l1-패널티를 적용하여 희소성을 촉진하며, 강건한 공분산 추정을 위한 그래픽 라소 프레임워크를 응용한다.
• 필터는 각 분석 단계에서 ν를 순차적으로 추정하여 사전에서 사후로의 업데이트가 관측된 데이터의 꼬리 두께에 적응하도록 한다.
• 불확실성 확대와 국소화는 추정된 척도 행렬과 ν를 통해 내재적으로 구현된다: 더 큰 ν는 더 얇은 꼬리와 함께 감소하는 불확실성 확대를 의미하며, 정밀도 행렬의 희소성은 국소화를 강제한다.
• 알고리즘은 코レス키 분해와 선형 시스템 해법을 통해 구현되어, t-분포의 척도와 자유도를 고려한 재가중 공식을 사용해 효율적으로 사후 샘플을 계산한다.

실험 결과

연구 질문

• RQ1 비선형적이고 고차원적인 시스템에서 꼬리가 두꺼운 잡음이 존재할 때, t-분포 가정 하에 정확한 추론을 수행할 수 있는 필터링 알고리즘을 설계할 수 있는가?
• RQ2 불확실성 확대와 국소화를 수동 조정 없이 데이터 기반으로 적응적으로 만들 수 있는가?
• RQ3 제안된 EnRF는 표준 EnKF에 비해 합성 관측치에서 이상치에 대해 얼마나 더 강건한가?
• RQ4 제한된 앙상블 샘플로부터 정규화된 EM 절차를 사용해 t-분포의 자유도 ν를 신뢰성 있게 추정할 수 있는가?
• RQ5 제안된 필터는 ν → ∞의 극한에서 표준 칼만 필터를 회복하는가? 이는 가우시안 가정과의 일致성을 확인한다.

주요 결과

• EnRF는 특히 작은 ν에서 표준 EnKF 성능이 저하되는 꼬리가 두꺼운 설정에서 합성 이상 관측치에 대해 뚜렷한 강건성을 보였다.
• ν → ∞의 극한에서 EnRF는 표준 칼만 필터를 회복하여 가우시안 가정과의 일치성을 확인했다.
• l1-패널티가 가미된 EM 알고리즘은 제한된 샘플로부터 희소 정밀도 행렬을 안정적으로 추정하여 고차원 설정에서의 공분산 추정을 향상시켰다.
• 적응적 불확실성 확대가 추정된 ν로부터 자연스럽게 유도된다: 더 큰 ν는 더 얇은 꼬리와 함께 감소하는 불확실성 확대를 의미하며, 더 낮은 ν는 극단적 관측치의 영향을 증가시킨다.
• 정밀도 행렬에 대한 l1 페널티가 희소성을 촉진함으로써 국소화가 암묵적으로 실현되며, 수동 국소화 조정 없이 임의의 상관관계를 감소시킨다.
• 도전적인 필터링 문제에 대한 실증 결과는 EnRF가 꼬리가 두꺼운 잡음 하에서 루트 평균 제곱 오차와 신뢰성 측면에서 표준 EnKF를 능가함을 확인했다.