[논문 리뷰] A Score-based Nonlinear Filter for Data Assimilation

Feng Bao, Zezhong Zhang외 1명|arXiv (Cornell University)|2023. 06. 15.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 전통적인 입자 필터에서의 불안정성과 차원의 저주 문제를 해결하기 위해 확산 모델을 활용하는 점수 기반 비선형 필터를 제안한다. 필터링 밀도를 표현하기 위해 점수 함수를 학습하고 역시계 확산 샘플링을 사용함으로써, 고차원 스토케스틱 동역학 시스템에서 정확하고 비정규 분포의 사후 분포 추정을 위한 무제한의 샘플을 생성한다.

ABSTRACT

We introduce a score-based generative sampling method for solving the nonlinear filtering problem with robust accuracy. A major drawback of existing nonlinear filtering methods, e.g., particle filters, is the low stability. To overcome this issue, we adopt the diffusion model framework to solve the nonlinear filtering problem. In stead of storing the information of the filtering density in finite number of Monte Carlo samples, in the score-based filter we store the information of the filtering density in the score model. Then, via the reverse-time diffusion sampler, we can generate unlimited samples to characterize the filtering density. Moreover, with the powerful expressive capabilities of deep neural networks, it has been demonstrated that a well trained score in diffusion model can produce samples from complex target distributions in very high dimensional spaces. Extensive numerical experiments show that our score-based filter could potentially address the curse of dimensionality in very high dimensional problems.

연구 동기 및 목표

• 비선형 필터링 문제에서 입자 필터의 불안정성과 유한 샘플 한계를 해결한다.
• 입자 기반 표현을 학습된 점수 모델로 대체하여 고차원 상태 추정에서의 차원의 저주를 극복한다.
• 딥 생성 모델링을 활용해 비정규 분포의 필터링 밀도를 강력하고 고해상도로 근사화한다.
• 점수 기반 생성 모델의 표현력을 활용하여 가우시안 가정에 의존하지 않고도 복잡한 필터링 분포를 표현한다.

제안 방법

• 필터링 문제를 확산 모델 프레임워크 내에서 설정하여, 필터링 밀도를 학습된 점수 함수로 암묵적으로 표현한다.
• 진행 방향 SDE를 사용해 진짜 상태 분포를 점차 표준 정규분포로 훼손함으로써 점수 모델의 학습을 가능하게 한다.
• 각 노이즈 수준에서 진짜 점수와 예측된 점수 간의 차이를 최소화하는 노이즈 제거 손실을 통해 점수 모델을 학습한다.
• 학습된 점수 모델을 사용해 역시계 SDE 샘플링을 적용하여 필터링 밀도에서 무제한의 샘플을 생성한다.
• 실제 구현을 위해 역시계 SDE를 오일러-마르야모 스킴으로 이산화하여 조절 가능한 시간 간격 정밀도를 확보한다.
• 학습 손실을 확산 과정 전반에 걸쳐 균형 있게 유지하기 위해 가중치 함수 λ(τ)와 노이즈 스케줄 βτ를 활용한다.

Figure 1: The overview of the proposed score-based filter

실험 결과

연구 질문

• RQ1 점수 기반 생성 모델은 고차원 비선형 시스템에서 복잡하고 비정규 분포의 필터링 밀도를 효과적으로 표현할 수 있는가?
• RQ2 제안된 점수 기반 필터는 고차원 조건에서 기존 입자 필터보다 안정성과 정확성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 확산 모델 프레임워크는 데이터 융합 과제에서 차원의 저주를 어느 정도 완화할 수 있는가?
• RQ4 학습된 점수 모델은 다양한 비선형 동역학 시스템과 관측 모델 간에 얼마나 잘 일반화되는가?
• RQ5 역시계 확산 샘플링 과정은 단일 세트의 초기 정규 분포 샘플로부터 필터링 밀도를 신뢰성 있게 재구성할 수 있는가?

주요 결과

• 입자 필터가 분해와 불안정성 문제를 겪는 고차원 필터링 문제에서 점수 기반 필터는 강력한 성능을 발휘한다.
• 딥 점수 모델을 통해 복잡하고 비정규 분포의 필터링 밀도를 성공적으로 학습하여 가우시안 가정 없이도 정확한 사후 근사가 가능하다.
• 광범위한 수치 실험을 통해 필터가 고차원 시스템을 처리할 수 있음을 입증하며, 차원의 저주 완화 가능성을 시사한다.
• 점수 모델의 사용으로 인해 입자 필터의 유한 샘플 한계를 초월해 무제한의 샘플 생성이 가능하다.
• 조건부 점수의 해석적 형태 덕분에 학습 손실이 계산적으로 처리 가능하여 몬테카를로 샘플링을 통한 효율적 최적화가 가능하다.
• 역시계 SDE 샘플링 과정은 실제 필터링 밀도를 잘 따르는 샘플을 생성하며, 경험적 분포 일치 검증을 통해 검증되었다.

Figure 2: Example 1. Double-well potential.