[논문 리뷰] Efficient Top-k Vulnerable Nodes Detection in Uncertain Graphs

Dawei Cheng, Chen Chen외 2명|arXiv (Cornell University)|2019. 12. 28.

Advanced Graph Neural Networks참고 문헌 48인용 수 10

한 줄 요약

이 논문은 노드가 자체 고장 확률과 간선이 고장 위험을 전파하는 불확실한 그래프에서 상위-k 취약 노드 탐지를 위한 효율적인 샘플링 기반 방법을 제안한다. 상한/하한 가지치기와 최적화를 위한 바닥-k 스케치를 활용함으로써, 기준 대비 최대 100배 빠른 속도 향상을 이룩하면서도 금융 및 벤치마크 네트워크에서 고위험 노드를 정확하게 식별한다.

ABSTRACT

Uncertain graphs have been widely used to model complex linked data in many real-world applications, such as guaranteed-loan networks and power grids, where a node or edge may be associated with a probability. In these networks, a node usually has a certain chance of default or breakdown due to self-factors or the influence from upstream nodes. For regulatory authorities and companies, it is critical to efficiently identify the vulnerable nodes, i.e., nodes with high default risks, such that they could pay more attention to these nodes for the purpose of risk management. In this paper, we propose and investigate the problem of top-$k$ vulnerable nodes detection in uncertain graphs. We formally define the problem and prove its hardness. To identify the $k$ most vulnerable nodes, a sampling-based approach is proposed. Rigorous theoretical analysis is conducted to bound the quality of returned results. Novel optimization techniques and a bottom-$k$ sketch based approach are further developed in order to scale for large networks. In the experiments, we demonstrate the performance of proposed techniques on 3 real financial networks and 5 benchmark networks. The evaluation results show that the proposed methods can achieve up to 2 orders of magnitudes speedup compared with the baseline approach. Moreover, to further verify the advantages of our model in real-life scenarios, we integrate the proposed techniques with our current loan risk control system, which is deployed in the collaborated bank, for more evaluation. Particularly, we show that our proposed new model has superior performance on real-life guaranteed-loan network data, which can better predict the default risks of enterprises compared to the state-of-the-art techniques.

연구 동기 및 목표

• 노드의 내재 고장 확률과 상游 노드로부터의 전염 효과로 인해 발생하는 취약성에 기반해, 불확실한 그래프에서 상위-k개의 가장 취약한 노드를 식별한다.
• 확률적 간선과 노드를 가진 대규모 불확실한 그래프에서 고장 확률을 효율적으로 계산하는 과제를 해결한다.
• 실제 응용 분야인 보증 대출 네트워크와 전력망과 같은 분야에서 정확도와 성능을 균형 잡는 확장 가능한 솔루션을 개발한다.
• 고장 확률 추정치의 엄밀한 경계 설정을 통해 결과 품질에 대한 이론적 보장을 제공한다.
• 실제 금융 리스크 관리 응용을 위해 이 방법을 실세계 대출 리스크 제어 시스템에 통합하여 실용적 효과성을 검증한다.

제안 방법

• 노드의 자기 위험 확률과 간선의 전파 확률을 고려한 방향성 불확실한 그래프에서 상위-k 취약 노드 탐지 문제를 수학적으로 정의한다.
• 후행 탐색을 통해 후보 노드에서 출발해 고장 확률을 추정하는 샘플링 기반 알고리즘을 제안하며, 고장 전파를 시뮬레이션하기 위해 난수 생성을 활용한다.
• 반복적으로 z회 반복하여 각 노드에 대해 상한 및 하한 추정치를 계산하고, 확률 추정치를 점진적으로 개선한다.
• 상위-k 노드의 상한과 비교해 하한이 더 높은 노드는 반드시 상위-k에 포함됨을 보장하는 가지치기 규칙을 적용한다.
• 후보 노드를 효율적으로 유지하고 샘플링 중 중복 계산을 줄이기 위해 바닥-k 스케치 데이터 구조를 구현한다.
• 간선 방향을 뒤집고 관련이 있는 노드만 처리함으로써 샘플링 과정을 최적화하고, 검색 공간을 축소하여 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 노드 고장이 간선을 통해 확률적으로 전파되는 불확실한 그래프에서 상위-k 취약 노드를 효율적으로 식별할 수 있는 방법은 무엇인가?
• RQ2 샘플링 기반 접근법이 반환하는 상위-k 결과의 품질을 보장하기 위해 수립할 수 있는 이론적 경계는 무엇인가?
• RQ3 상한 및 하한 기반 가지치기 전략은 결과 정확도를 희생시키지 않고 후보 수를 어떻게 줄일 수 있는가?
• RQ4 금융 보증 네트워크와 같이 대규모 실세계 네트워크에 적용하기 위해 적용 가능한 최적화 기법은 무엇인가?
• RQ5 실제 금융 데이터에서 최신 기계학습 기법과 기준 샘플링 접근법에 비해 성능과 정확도 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 실제 금융 네트워크와 벤치마크 그래프에서 기준 샘플링 방법 대비 최대 100배 빠른 성능 향상을 달성한다.
• 이론적 분석을 통해 이 방법이 오차 한계 내에서 결과를 반환함을 확인하여 고품질의 상위-k 선택이 보장됨을 입증한다.
• 실세계 대출 리스크 제어 시스템에 통합된 결과, 최신 기술 대비 엔터프라이즈 고장 리스크 예측 성능이 뛰어나게 향상됨을 입증했다.
• 상한 및 하한 가지치기의 적용으로 전면 샘플링이 필요한 노드 수가 크게 감소하여 효율성이 향상됨을 확인했다.
• 바닥-k 스케치와 역방향 샘플링 최적화 기법은 계산 오버헤드를 줄여 주며, 수천 개의 노드와 간선를 가진 대규모 네트워크에서도 확장 가능한 처리를 가능하게 한다.
• 3개의 실재 금융 네트워크와 5개의 벤치마크 그래프에서의 실증 평가를 통해 고위험 노드 식별의 일관된 성능 향상과 높은 정확도를 입증했다.