[论文解读] Efficient Top-k Vulnerable Nodes Detection in Uncertain Graphs

Dawei Cheng, Chen Chen+2 more|arXiv (Cornell University)|Dec 28, 2019

Advanced Graph Neural Networks参考文献 48被引用 10

一句话总结

本文提出了一种基于采样的高效方法，用于在不确定图中检测top-k脆弱节点，其中节点具有自有的默认概率，边则具有传播默认风险的概率。通过利用上下界剪枝和bottom-k草图进行优化，该方法在金融网络和基准网络中相比基线方法实现了高达100倍的加速，同时准确识别出高风险节点。

ABSTRACT

Uncertain graphs have been widely used to model complex linked data in many real-world applications, such as guaranteed-loan networks and power grids, where a node or edge may be associated with a probability. In these networks, a node usually has a certain chance of default or breakdown due to self-factors or the influence from upstream nodes. For regulatory authorities and companies, it is critical to efficiently identify the vulnerable nodes, i.e., nodes with high default risks, such that they could pay more attention to these nodes for the purpose of risk management. In this paper, we propose and investigate the problem of top-$k$ vulnerable nodes detection in uncertain graphs. We formally define the problem and prove its hardness. To identify the $k$ most vulnerable nodes, a sampling-based approach is proposed. Rigorous theoretical analysis is conducted to bound the quality of returned results. Novel optimization techniques and a bottom-$k$ sketch based approach are further developed in order to scale for large networks. In the experiments, we demonstrate the performance of proposed techniques on 3 real financial networks and 5 benchmark networks. The evaluation results show that the proposed methods can achieve up to 2 orders of magnitudes speedup compared with the baseline approach. Moreover, to further verify the advantages of our model in real-life scenarios, we integrate the proposed techniques with our current loan risk control system, which is deployed in the collaborated bank, for more evaluation. Particularly, we show that our proposed new model has superior performance on real-life guaranteed-loan network data, which can better predict the default risks of enterprises compared to the state-of-the-art techniques.

研究动机与目标

• 在有向不确定图中识别出k个最脆弱的节点，其中脆弱性源于节点自身的固有失败概率以及来自上游节点的传染性传播。
• 解决在具有概率边和节点的大规模不确定图中高效计算默认概率的挑战。
• 开发一种可扩展的解决方案，在真实应用场景（如担保贷款网络和电网）中实现准确性和性能的平衡。
• 通过严格界定默认概率估计的边界，为结果质量提供理论保证。
• 将该方法集成到真实世界的贷款风险控制系统中，以验证其在金融风险管理中的实际有效性。

提出的方法

• 形式化定义有向不确定图中节点具有自风险概率和边具有传播概率时的top-k脆弱节点检测问题。
• 提出一种基于采样的算法，通过从候选节点反向遍历估计默认概率，利用随机数生成模拟故障传播。
• 通过z轮迭代计算，对每个节点进行上下界估计，逐步优化概率估计。
• 基于第k大的边界值应用剪枝规则：若某节点的下界超过第k名节点的上界，则可确定其属于top-k。
• 实现bottom-k草图数据结构，以高效维护候选节点并减少采样过程中的冗余计算。
• 通过反转边的方向并仅处理相关节点来优化采样过程，从而缩小搜索空间，提升可扩展性。

实验结果

研究问题

• RQ1 如何高效识别在节点故障通过边以概率方式传播的不确定图中，最脆弱的k个节点？
• RQ2 可以建立何种理论边界，以确保基于采样的方法返回的top-k结果质量？
• RQ3 基于上下界的剪枝策略如何在不牺牲结果准确性的前提下减少候选节点数量？
• RQ4 可应用何种优化技术，使检测过程可扩展至大型真实网络（如金融担保网络）？
• RQ5 在真实金融数据中，该方法与最先进的机器学习方法及基线采样方法相比，在性能和准确性方面表现如何？

主要发现

• 所提方法在真实金融网络和基准网络上相比基线采样方法实现了最高达100倍的加速。
• 理论分析证实，该方法返回的结果处于有界误差范围内，确保了top-k选择的高质量。
• 将该方法集成到真实世界的贷款风险控制系统中，其在预测企业违约风险方面表现优于最先进的技术。
• 使用上下界剪枝显著减少了需要完整采样的节点数量，从而提升了效率。
• bottom-k草图与反向采样优化降低了计算开销，使大规模网络（含数千个节点和边）的可扩展处理成为可能。
• 在3个真实金融网络和5个基准图上的实证评估结果表明，该方法在识别高风险节点方面具有持续的性能提升和高准确性。