[논문 리뷰] Modelling graph dynamics in fraud detection with "Attention"

Susie Xi Rao, Clémence Lanfranchi외 8명|arXiv (Cornell University)|2022. 04. 22.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 사기 탐지에서 시간적 및 구조적 동적 특성을 모델링하기 위해 역동적 이질적 그래프 신경망(DyHGN)을 제안한다. 이는 시간에 따라 변화하는 엔티티 표현과 이질적 그래프 어텐션 기반 메커니즘을 통합한다. 실세계의 eBay 데이터셋에서 최신 기술 성능을 달성하며, 특히 시간에 따라 불균형한 레이블 분포가 존재하는 상황에서도 뛰어난 성능을 보이며, Shapley 값에 기반한 설명 가능성 향상과 함께 동적이고 이질적인 그래프 패턴을 포괄적으로 포착하는 데서 어텐션의 핵심적 역할을 입증한다.

ABSTRACT

At online retail platforms, detecting fraudulent accounts and transactions is crucial to improve customer experience, minimize loss, and avoid unauthorized transactions. Despite the variety of different models for deep learning on graphs, few approaches have been proposed for dealing with graphs that are both heterogeneous and dynamic. In this paper, we propose DyHGN (Dynamic Heterogeneous Graph Neural Network) and its variants to capture both temporal and heterogeneous information. We first construct dynamic heterogeneous graphs from registration and transaction data from eBay. Then, we build models with diachronic entity embedding and heterogeneous graph transformer. We also use model explainability techniques to understand the behaviors of DyHGN-* models. Our findings reveal that modelling graph dynamics with heterogeneous inputs need to be conducted with "attention" depending on the data structure, distribution, and computation cost.

연구 동기 및 목표

• 전자상거래 플랫폼에서 사기 탐지에 적합한, 이질적 그래프의 구조적 및 시간적 동적 특성을 동시에 모델링하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 노드 및 엣지 관계가 변화하는 실세계의 동적 거래 그래프에서 사기 계정 및 거래를 탐지하는 데 도전 과제를 해결하기 위해.
• 다양한 데이터 분포와 계산 자원 제약 조건 하에서 어텐션 기반 메커니즘이 동적이고 이질적인 그래프 구조를 어떻게 모델링하는지 평가하기 위해.
• 그래프 유도 특징에 대해 Shapley 값을 활용해 모델의 해석 가능성을 향상시키고, 실질적인 비즈니스 통찰을 도출하기 위해.

제안 방법

• 등록 및 거래 데이터를 기반으로 eBay에서 동적 이질적 그래프를 구축하며, 다양한 노드 유형(예: 계정, IP 주소, 전화번호)과 시간적 엣지를 포함한다.
• LSTM을 사용해 시간에 따라 변화하는 엔티티 표현을 포착하는 데 목적이 있는 시간에 따라 변화하는 엔티티 임베딩을 통합한 DyHGN을 구현한다.
• 자기 어텐션을 통합한 이질적 그래프 트랜스포머(HGT)를 활용해 서로 다른 노드 및 엣지 유형 간의 동적 관계를 모델링한다.
• ablation 및 성능 비교를 위해 변형된 버전을 도입한다: DyHGN-DE(시간에 따라 변화하는 임베딩 전용) 및 DyHGN-DE-HGT(시간에 따라 변화하는 임베딩 + HGT)를 포함한다.
• 그래프 유도 특징과 Shapley 값을 활용해 모델 예측을 설명하고 특징 중요도를 평가하기 위해 XGBoost를 사용한다.
• 실세계 데이터셋 3종( MassReg, xFraudTxn, xFraudAccount)에서 GAT 및 기타 GNN 모델과의 성능 비교를 위해 DyHGN-* 모델을 벤치마킹한다.

실험 결과

연구 질문

• RQ1 어떻게 어텐션 기반 메커니즘을 활용해 동적이고 이질적인 그래프 구조를 모델링할 경우, 정적 또는 동일한 그래프 모델 대비 사기 탐지 성능이 향상되는가?
• RQ2 동적 그래프 환경에서 HGT와 같은 어텐션 기반 메커니즘을 사용할 경우와 GAT와 같은 단순한 모델을 사용할 경우, 성능 향상과 계산 비용 간의 상호 보완적 관계는 어떻게 되는가?
• RQ3 시간에 따라 레이블 분포가 불균형한 경우, 동적 그래프 신경망의 성능에 어떤 영향을 미치며, DyHGN-* 모델은 이 문제를 어떻게 완화할 수 있는가?
• RQ4 어떤 정도로 어텐션 기반 메커니즘이 변동성이 큰 위험 패턴을 보이는 동적 그래프에서 장기적 의존성을 포착할 수 있는가?
• RQ5 Shapley 값은 사기 탐지 시스템에서 그래프 유도 특징과 모델 결정을 설명하는 데 얼마나 효과적인가?

주요 결과

• DyHGN-* 모델은 MassReg와 같이 시간 패턴이 핵심적인, 레이블 분포가 불균형한 데이터셋에서 GAT 및 기타 GNN 모델보다 뛰어난 성능을 보였다.
• 레이블 분포가 비교적 균형 잡힌 데이터셋(xFraudTxn, xFraudAccount)에서는 GAT가 HGT 기반 모델보다 훨씬 뛰어난 성능을 보였으며, 이는 훈련 비용이 낮고 성능는 유사하기 때문이다.
• 시간에 따라 변화하는 엔티티 임베딩의 통합은 역사적 데이터로부터 장기적 의존성을 학습하는 데 기여하며, 특히 위험 패턴이 시간에 따라 변화하는 상황에서 유용하다.
• Shapley 값 기반의 모델 설명 가능성 분석 결과, 그래프 유도 특징, 특히 시간적 및 구조적 패턴이 사기 예측의 주요 결정 요소임을 확인했다.
• 가장 큰 DyHGN-* 모델은 에포크당 4~15분이 소요되어 확장성 문제를 노출한다. 향후 연구는 산업 규모의 실사용을 위해 미니배치 훈련 및 분산 배포 기반 최적화에 초점을 맞출 것이다.