[논문 리뷰] Variational optimization and data assimilation in chaotic time-delayed systems with automatic-differentiated shadowing sensitivity

Nisha Chandramoorthy, Luca Magri외 1명|arXiv (Cornell University)|2020. 11. 16.

Advanced Thermodynamics and Statistical Mechanics참고 문헌 81인용 수 6

한 줄 요약

이 논문은 혼돈적인 시간지연 시스템에서 변분 최적화 및 데이터 융합을 위한 자동 미분(AD)을 통합한 샤로잉 감도 방법을 제안한다. 기존의 탄성/수반 해법 대신 AD를 사용함으로써, 장시간 평균 기능의 정확한 기울기 계산이 가능해져 혼돈 동역학에서 강력한 모델 매개변수 최적화 및 상태 추정이 가능해지며, 이는 고정밀도와 효율성을 보이는 열음향 모델을 통해 입증되었다.

ABSTRACT

In this computational paper, we perform sensitivity analysis of long-time (or ensemble) averages in the chaotic regime using the shadowing algorithm. We introduce automatic differentiation to eliminate the tangent/adjoint equation solvers used in the shadowing algorithm. In a gradient-based optimization, we use the computed shadowing sensitivity to minimize different long-time averaged functionals of a chaotic time-delayed system by optimal parameter selection. In combined state and parameter estimation for data assimilation, we use the computed sensitivity to predict the optimal trajectory given information from a model and data from measurements beyond the predictability time. The algorithms are applied to a thermoacoustic model. Because the computational framework is rather general, the techniques presented in this paper may be used for sensitivity analysis of ensemble averages, parameter optimization and data assimilation of other chaotic problems, where shadowing methods are applicable.

연구 동기 및 목표

• 표준 수반 및 탄성 방법이 지수적 불안정성으로 인해 실패하는 혼돈적인 시간지연 시스템에서 장시간 평균 기능에 대한 의미 있는 감도를 계산하는 데 도전하는 것.
• 샤로잉 기반 감도 분석을 이용한 혼돈 시스템에서의 변분 최적화 및 데이터 융합을 위한 일반적인 계산 프레임워크를 개발하는 것.
• 샤로잉 알고리즘 내에서 계산 비용이 큰 탄성 및 수반 방정식 해법을 자동 미분(AD)으로 대체하여 효율성 향상과 구현 복잡도 감소를 이루는 것.
• 예측 가능 시간을 초월한 혼돈 시스템에서 데이터 융합을 통해 기울기 기반 모델 매개변수 최적화 및 상태-매개변수 동시 추정을 가능하게 하는 것.
• 열음향 모델을 대상으로 본 방법의 효과성과 일반성을 입증하여, 정확한 감도 계산과 최적의 매개변수 선택을 보여주는 것.

제안 방법

• 직접 탄성 및 수반 방정식 해법을 자동 미분(AD) 기반으로 대체한 비침습적 최소 제곱 샤로잉(NILSS) 알고리즘의 변형을 도입한다.
• 전진 모드 AD를 사용하여 상태 변수의 변형에 대한 시스템 동역학을 미분함으로써 탄성 샤로잉 벡터를 계산한다.
• 역행 모드 AD를 사용하여 비용 기능을 상태에 대해 미분함으로써 수반 샤로잉 벡터를 계산하고, 효율적인 기울기 전파를 가능하게 한다.
• 각 시간 단계에서 QR 분해를 적용하여 샤로잉 방향을 정규직교화하고, 샤로잉 부분공간 계산의 수치적 안정성을 유지한다.
• AD-샤로잉 프레임워크를 변분 최적화 루프에 통합하여 시스템 매개변수에 대한 기울기 하강법을 통해 장시간 평균 기능을 최소화한다.
• 모델 예측과 노이즈가 있는 측정치 간의 불일치를 장기간에 걸쳐 최소화함으로써, AD-샤로잉 감도를 데이터 융합에 적응시킨다.

실험 결과

연구 질문

• RQ1 자기 미분이 혼돈적인 시간지연 시스템의 샤로잉 기반 감도 분석에서 탄성 및 수반 해법을 효과적으로 대체할 수 있는가?
• RQ2 전통적인 수반 방법이 발산하는 혼돈 시스템에서 AD-샤로잉가 장시간 평균 기능의 기울기를 얼마나 정확하게 계산할 수 있는가?
• RQ3 AD-샤로잉가 장기 목표 기능을 가진 혼돈적인 시간지연 시스템에서 효과적인 매개변수 최적화를 얼마나 잘 지원할 수 있는가?
• RQ4 AD-샤로잉가 예측 가능 시간 척도를 초월한 혼돈 시스템에서 상태 및 매개변수 추정을 위한 강력한 데이터 융합을 지원할 수 있는가?
• RQ5 AD-샤로잉 프레임워크는 시간 지연가 있는 다른 혼돈 시스템으로도 일반화 가능한가?

주요 결과

• AD-샤로잉 방법은 혼돈적인 시간지연 시스템에서 장시간 평균 기능의 정확한 기울기를 계산하여 기존의 수반 및 탄성 방법이 지수적으로 발산하는 문제를 해결한다.
• 자기 미분의 사용으로 탄성 및 수반 방정식을 수작업으로 유도하고 해법을 구현할 필요가 없어져 구현이 간소화되고 오류 발생 가능성이 크게 감소한다.
• 열음향 모델에서 본 방법은 장기 평균 열방출 및 압력 진동을 최소화하는 최적의 매개변수로 수렴하는 효과적인 매개변수 최적화를 가능하게 한다.
• 데이터 융합에서는 모델 예측과 관측 데이터 간의 불일치를 최소화함으로써, 예측 가능 시간을 초월한 상태 및 매개변수의 정확한 동시 추정이 가능하다.
• 프레임워크는 일반적이며 확장 가능하다: 제공된 줄리아 코드베이스는 새로운 혼돈적인 상미분방정식 또는 맵을 쉽게 통합할 수 있으며, 새로운 모델에 대해 최소한의 수정만으로도 적용 가능하다.
• AD-샤로잉 알고리즘은 각 시간 단계에서 샤로잉 방향을 QR 기반 정규직교화함으로써 수치적 안정성과 정확성을 유지하여 고차원 혼돈 동역학에서도 강력한 성능을 발휘한다.