[论文解读] A graph clustering approach to localization for adaptive covariance tuning in data assimilation based on state-observation mapping

Sibo Cheng, Jean‐Philippe Argaud+3 more|arXiv (Cornell University)|Jan 31, 2020

Meteorological Phenomena and Simulations参考文献 31被引用 5

一句话总结

该论文提出一种图聚类方法，通过基于线性化状态-观测映射自动将状态变量和观测变量划分为最优聚类，实现在数据同化中对误差协方差矩阵的局部化，实现无需先验假设的自适应、聚类内协方差调优。该方法通过在观测算子雅可比矩阵导出的相似性图上应用无监督社区检测，降低了计算成本，并在数据有限时提升了精度，优于全局调优方法。

ABSTRACT

An original graph clustering approach to efficient localization of error covariances is proposed within an ensemble-variational data assimilation framework. Here the localization term is very generic and refers to the idea of breaking up a global assimilation into subproblems. This unsupervised localization technique based on a linearizedstate-observation measure is general and does not rely on any prior information such as relevant spatial scales, empirical cut-off radius or homogeneity assumptions. It automatically segregates the state and observation variables in an optimal number of clusters (otherwise named as subspaces or communities), more amenable to scalable data assimilation.The application of this method does not require underlying block-diagonal structures of prior covariance matrices. In order to deal with inter-cluster connectivity, two alternative data adaptations are proposed. Once the localization is completed, an adaptive covariance diagnosis and tuning is performed within each cluster. Numerical tests show that this approach is less costly and more flexible than a global covariance tuning, and most often results in more accurate background and observations error covariances.

研究动机与目标

• 解决传统数据同化局部化方法依赖于任意空间或基于相关性的阈值所带来的局限性。
• 开发一种无监督、数据驱动的局部化技术，无需预先知晓空间尺度、相关长度或同质性信息。
• 通过图聚类将全局同化问题分解为子问题，实现可扩展的、自适应的误差协方差调优。
• 通过数据适应策略，处理现实系统中全分离性罕见的聚类间连通性问题。
• 提升高维、工业规模数据同化问题中背景误差与观测误差协方差估计的精度与效率。

提出的方法

• 利用观测算子雅可比矩阵的绝对值构建相似性图，表示线性化状态-观测关系。
• 应用无监督图聚类算法（如Fluid方法），基于该相似性图将状态变量与观测变量划分为社区。
• 在每个聚类内独立执行自适应协方差调优，针对数据有限场景采用DI01方法。
• 引入两种数据适应策略以管理聚类间连通性：数据降维与数据调整，以减轻共享观测的影响。
• 利用图结构定义子问题，最小化重叠，提升可扩展性并降低计算成本。
• 基于从|H|导出的相似性度量进行聚类，避免依赖预设的相关核函数或空间假设。

实验结果

研究问题

• RQ1 对状态-观测映射进行图聚类，能否有效替代数据同化中基于启发式的局部化阈值？
• RQ2 基于线性化观测算子的无监督聚类，在精度与计算成本方面，相较于全局协方差调优表现如何？
• RQ3 该方法在无需预先结构假设的前提下，对非局部观测与聚类间连通性的处理能力有多强？
• RQ4 在数据有限的情况下，尤其当先验误差协方差估计不可靠时，该方法表现如何？
• RQ5 与全局调优相比，聚类内自适应调优是否能提升背景误差与观测误差协方差的估计性能？

主要发现

• 与全局协方差调优相比，该图聚类方法通过将问题分解为更小、可管理的子问题，显著降低了计算成本。
• 该方法在背景误差与观测误差协方差估计方面精度更高，尤其在DI01场景下数据有限时表现更优。
• 即使在状态-观测映射中存在隐藏的结构模式（如双重聚类），且各组件被随机混合以掩盖空间模式时，该方法仍具有鲁棒性。
• 当同化问题在聚类间具有良好可分性时（即子问题间重叠较低），该方法性能最佳。
• 通过数据适应策略，聚类间连通性得到有效管理，但若存在大量重叠聚类，计算成本可能显著上升。
• 该方法在处理线性或弱非线性系统时最为有效，因其依赖于线性化观测算子；向强非线性问题扩展可能需要重复聚类。