[논문 리뷰] A graph clustering approach to localization for adaptive covariance tuning in data assimilation based on state-observation mapping

Sibo Cheng, Jean‐Philippe Argaud외 3명|arXiv (Cornell University)|2020. 01. 31.

Meteorological Phenomena and Simulations참고 문헌 31인용 수 5

한 줄 요약

이 논문은 선형화된 상태-관측 맵핑을 바탕으로 상태 변수와 관측 변수를 최적의 클러스터로 자동으로 그룹화함으로써 데이터 통합에서 오차 공분산 행렬을 국소화하는 그래프 클러스터링 접근법을 제안한다. 이는 사전 가정 없이 적응형 클러스터별 공분산 튜닝을 가능하게 하며, 전역 튜닝 대비 계산 비용을 감소시키고, 특히 자료가 제한된 상황에서 정확도를 향상시킨다. 관측 연산자의 야코비안에서 유도된 유사도 그래프에 대해 비지도 커뮤니티 탐지 기법을 활용함으로써 이를 실현한다.

ABSTRACT

An original graph clustering approach to efficient localization of error covariances is proposed within an ensemble-variational data assimilation framework. Here the localization term is very generic and refers to the idea of breaking up a global assimilation into subproblems. This unsupervised localization technique based on a linearizedstate-observation measure is general and does not rely on any prior information such as relevant spatial scales, empirical cut-off radius or homogeneity assumptions. It automatically segregates the state and observation variables in an optimal number of clusters (otherwise named as subspaces or communities), more amenable to scalable data assimilation.The application of this method does not require underlying block-diagonal structures of prior covariance matrices. In order to deal with inter-cluster connectivity, two alternative data adaptations are proposed. Once the localization is completed, an adaptive covariance diagnosis and tuning is performed within each cluster. Numerical tests show that this approach is less costly and more flexible than a global covariance tuning, and most often results in more accurate background and observations error covariances.

연구 동기 및 목표

• 공간 기반 또는 상관 기반 임계값에 의존하는 전통적 국소화 방법의 한계를 해결하기 위해.
• 공간 스케일, 상관 길이, 균일성에 대한 사전 지식이 필요 없는 비지도, 데이터 기반의 국소화 기법을 개발하기 위해.
• 그래프 클러스터링을 통해 전역 통합 문제를 하위 문제로 분해함으로써 확장성 있고 적응형 오차 공분산 튜닝을 가능하게 하기 위해.
• 실제 시스템에서 완전한 분리성이 드물기 때문에, 상호 클러스터 연결성을 데이터 적응 전략을 통해 다루기 위해.
• 고차원적이고 산업 규모의 데이터 통합 문제에서 배경 및 관측 오차 공분산 추정의 정확도와 효율성을 향상시키기 위해.

제안 방법

• 관측 연산자의 야코비안 행렬의 절댓값을 사용하여 유사도 그래프를 구축함으로써 선형화된 상태-관측 관계를 표현하기 위해.
• 비지도 그래프 클러스터링 알고리즘(예: 플루이드 방법)을 적용하여 이 유사도 그래프를 기반으로 상태 및 관측 변수를 커뮤니티로 분할하기 위해.
• 각 클러스터 내에서 독립적으로 적응형 공분산 튜닝을 수행하며, 자료가 제한된 상황에서는 DI01 방법을 사용하기 위해.
• 공유 관측의 영향을 완화하기 위해 상호 클러스터 연결성을 관리하기 위한 두 가지 데이터 적응 전략(자료 감소 및 자료 조정)을 도입하기 위해.
• 그래프 구조를 활용하여 오버랩을 최소화하는 하위 문제를 정의함으로써 확장성 향상과 계산 비용 감소를 위해.
• 사전 정의된 상관 커널이나 공간 가정에 의존하지 않도록, |H|에서 유도된 유사도 측정 기반으로 클러스터링을 수행하기 위해.

실험 결과

연구 질문

• RQ1 상태-관측 맵핑의 그래프 클러스터링이 데이터 통합에서 히وري스틱 국소화 임계값을 효과적으로 대체할 수 있는가?
• RQ2 선형화된 관측 연산자 기반의 비지도 클러스터링은 전역 공분산 튜닝 대비 정확도와 계산 비용 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 사전 구조적 가정 없이 비국소 관측과 상호 클러스터 연결성을 어느 정도 효과적으로 다룰 수 있는가?
• RQ4 특히 사전 오차 공분산 추정치가 신뢰할 수 없는 상황에서, 자료가 제한된 조건에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 클러스터별 적응형 튜닝은 전역 튜닝 대비 배경 및 관측 오차 공분산 추정에 있어 개선 효과를 보일 수 있는가?

주요 결과

• 전역 공분산 튜닝 대비 문제를 더 작은 관리 가능한 하위 문제로 분해함으로써 이 방법은 계산 비용을 크게 감소시킨다.
• 특히 자료가 제한된 DI01 설정에서 배경 및 관측 오차 공분산 추정의 정확도가 전역 튜닝보다 높다.
• 컴ponent가 무작위로 혼합되어 공간 패턴이 은폐된 경우에도, 이중 클러스터링과 같은 숨겨진 구조적 패턴에 대해 강건하다.
• 자기 문제의 클러스터로 잘 분리되어 있을 경우, 즉 하위 문제 간 오버랩이 낮을 경우 성능이 가장 우수하다.
• 상호 클러스터 연결성은 데이터 적응 전략을 통해 효과적으로 관리되지만, 많은 오버랩 클러스터가 존재할 경우 계산 비용이 증가할 수 있다.
• 이 방법은 선형 또는 약한 비선형 시스템에서 가장 효과적이며, 선형화된 관측 연산자에 의존하므로 강한 비선형 문제로의 확장에는 반복적 클러스터링이 필요할 수 있다.