[论文解读] Learning extremal graphical structures in high dimensions

Sebastian Engelke, Michaël Lalancette+1 more|arXiv (Cornell University)|Nov 1, 2021

Statistical Methods and Inference被引用 4

一句话总结

本文提出一种基于L¹-正则化优化的多数投票算法，用于在高维Hüsler–Reiss分布中一致地恢复极值图形结构。该文建立了经验极值变差函数的非渐近浓度界，使得在一般连通图上实现可靠图学习，并具备理论一致性保证。

ABSTRACT

Extremal graphical models encode the conditional independence structure of multivariate extremes. Key statistics for learning extremal graphical structures are empirical extremal variograms, for which we prove non-asymptotic concentration bounds that hold under general domain of attraction conditions. For the popular class of Hüsler--Reiss models, we propose a majority voting algorithm for learning the underlying graph from data through $L^1$ regularized optimization. Our concentration bounds are used to derive explicit conditions that ensure the consistent recovery of any connected graph. The methodology is illustrated through a simulation study as well as the analysis of river discharge and currency exchange data.

研究动机与目标

• 开发一种一致且数据驱动的方法，用于学习高维多变量极值模型中的极值图形结构。
• 解决在树或块图等简单结构之外，缺乏适用于极值图形模型的一般性、理论基础坚实的图恢复方法的问题。
• 为一般多变量Pareto分布建立经验极值变差函数的非渐近浓度性质。
• 提供明确条件，使所提方法在一般连通图上实现一致的图恢复。
• 将现有的非参数极值图学习方法从最小生成树扩展至任意图形结构。

提出的方法

• 提出一种多数投票算法，通过聚合多个L¹-正则化优化问题的结果，提升图结构恢复的性能。
• 将经验极值变差函数作为关键统计量，用于估计高维数据中的成对极值依赖关系。
• 对Hüsler–Reiss分布的精度矩阵应用L¹-正则化，以诱导稀疏性并估计条件独立结构。
• 在一般多变量Pareto分布下，推导出经验极值变差函数的非渐近浓度界，适用于有限样本。
• 通过推导样本大小与稀疏度水平相对于维度的显式条件，建立图恢复的理论一致性。
• 利用Hüsler–Reiss分布的结构特性，包括其参数形式和齐次性，以实现可处理的推断。

实验结果

研究问题

• RQ1 能否开发一种一致且可扩展的方法，用于学习高维中超越简单树结构或块图结构的一般极值图形模型？
• RQ2 一般多变量Pareto分布的经验极值变差函数具有怎样的非渐近浓度性质？
• RQ3 在何种条件下，对Hüsler–Reiss精度矩阵进行L¹-正则化优化能一致地恢复真实底层图结构？
• RQ4 如何通过多个正则化估计器的多数投票提升极值图学习的鲁棒性与准确性？
• RQ5 所提方法能否在具有可证明有限样本保证的前提下，应用于真实世界高维极值数据？

主要发现

• 所提出的L¹-正则化优化多数投票算法，在样本大小与图稀疏度的显式条件下，可实现一致的极值图恢复。
• 为经验极值变差函数建立了非渐近浓度界，适用于一般多变量Pareto分布，且在有限样本下成立。
• 该方法确保对一般连通图实现一致的底层图结构恢复，不限于树或可分解结构。
• 为广泛应用于空间与多变量极值建模的Hüsler–Reiss族推导出理论保证。
• 证明极值变差函数是极值依赖关系的可靠且理论基础坚实的估计量，支持非参数图学习。
• 该方法优于启发式方法（如前向选择），在高维设置下提供理论一致性与鲁棒性。