[논문 리뷰] Ethereum Fraud Detection with Heterogeneous Graph Neural Networks

Hiroki Kanezashi, Toyotaro Suzumura외 2명|arXiv (Cornell University)|2022. 03. 23.

Blockchain Technology Applications and Security인용 수 10

한 줄 요약

이 논문은 이더리움 거래 네트워크에서 피싱 사기 탐지를 위한 이종 그래프 신경망(GNN) 기반 접근법을 제안한다. 노드 및 엣지 유형의 이종성 특성을 활용하여 탐지 성능을 향상시킨다. RGCN 모델은 정밀도, 재현율, F1 점수 및 PR-AUC에서 모든 동종 및 이종 GNN 기준선을 초월하여 성능을 냈다. 이는 엣지 유형을 명시적으로 모델링할 경우 실제 블록체인 데이터 기반 사기 탐지 정확도가 향상됨을 입증한다.

ABSTRACT

While transactions with cryptocurrencies such as Ethereum are becoming more prevalent, fraud and other criminal transactions are not uncommon. Graph analysis algorithms and machine learning techniques detect suspicious transactions that lead to phishing in large transaction networks. Many graph neural network (GNN) models have been proposed to apply deep learning techniques to graph structures. Although there is research on phishing detection using GNN models in the Ethereum transaction network, models that address the scale of the number of vertices and edges and the imbalance of labels have not yet been studied. In this paper, we compared the model performance of GNN models on the actual Ethereum transaction network dataset and phishing reported label data to exhaustively compare and verify which GNN models and hyperparameters produce the best accuracy. Specifically, we evaluated the model performance of representative homogeneous GNN models which consider single-type nodes and edges and heterogeneous GNN models which support different types of nodes and edges. We showed that heterogeneous models had better model performance than homogeneous models. In particular, the RGCN model achieved the best performance in the overall metrics.

연구 동기 및 목표

• 대규모이고 불균형한 이더리움 거래 네트워크에서 피싱 사기를 그래프 신경망을 활용해 탐지하는 데 도전하는 것.
• 라벨이 부여된 피싱 보고서가 포함된 실제 이더리움 거래 데이터에서 동종 및 이종 GNN 모델의 성능을 평가하고 비교하는 것.
• 노드 및 엣지 유형을 명시적으로 모델링할 경우 동종 GNN에 비해 사기 탐지 정확도가 향상되는지 조사하는 것.
• 이종 블록체인 그래프에서 효과적인 사기 탐지를 위한 최적의 하이퍼파rameter 및 모델 구성 설정을 규명하는 것.
• 실제 암호화폐 사기 탐지에서 흔히 나타나는 규모와 레이블 불균형을 다룰 수 있는 이종 GNN, 특히 RGCN의 효과성에 대한 실증적 증거를 제공하는 것.

제안 방법

• 실제 이더리움 로그에서 이종 거래 네트워크를 구축하여 노드를 월렛, 교환소 등 유형으로 분류했다.
• 대표적인 동종 GNN(GCN, GraphSAGE, GAT)과 이종 GNN(RGCN, HAN, HGT)을 거래 네트워크에 적용했다.
• 노드 유형 쌍에 기반한 엣지 유형을 이종 모델의 핵심 입력으로 활용하여 유형별 메시지 전파를 가능하게 했다.
• 피싱 레이블을 포함한 지도 학습을 통해 모델을 훈련시켰으며, 정밀도, 재현율, F1 점수 및 PR-AUC를 최적화했다.
• 은닉층 크기, 학습률, 드롭아웃, 가중치 감소 등의 하이퍼파rameter를 철저히 튜닝했다.
• 심각한 클래스 불균형을 보이는 실제 데이터셋을 사용하여 표준 지표를 기반으로 모델 성능을 평가했다.

실험 결과

연구 질문

• RQ1 이더리움 거래 네트워크에서 노드 및 엣지 유형의 이종성을 모델링할 경우 동종 GNN에 비해 사기 탐지 성능이 향상되는가?
• RQ2 동종 또는 이종 GNN 아키텍처 중에서 실제 이더리움 피싱 데이터 기반으로 정밀도, 재현율, F1 점수를 가장 높게 달성하는 것은 어떤 아키텍처인가?
• RQ3 학습률, 은닉층 크기, 드롭아웃, 가중치 감소 등의 하이퍼파rameter가 이 맥락에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 노드 유형에 원핫 인코딩을 적용하는 것만으로도 동종 GNN의 성능이 이종 모델 수준에 도달하는가?
• RQ5 RGCN에서 엣지 유형별 학습이 우수한 탐지 정확도를 달성하는 데 기여하는 정도는 어느 정도인가?

주요 결과

• RGCN 모델은 정밀도, 재현율, F1 점수 및 PR-AUC에서 모든 지표에서 최고의 종합 성능을 기록했으며, 모든 동종 및 다른 이종 GNN을 앞섰다.
• 특히 RGCN를 포함한 이종 GNN 모델은 GCN, GAT, GraphSAGE와 같은 동종 GNN에 비해 유의미하게 뛰어난 성능을 보였으며, 엣지 유형을 모델링하는 것이 유리함을 확인했다.
• 동종 모델 중에서 GraphSAGE는 가장 높은 정밀도를 기록했지만, 재현율과 F1 점수는 RGCN에 뒤지지 않았다.
• HAN 및 HGT와 같은 이종 모델은 높은 재현율과 F1 점수를 기록했지만 여전히 RGCN에 뒤져, RGCN의 뛰어난 엣지 유형 인식 학습 능력을 시사한다.
• 노드 유형의 원핫 인코딩만으로도 동종 GNN의 성능이 RGCN에 도달하지 못했으며, 이는 명시적인 엣지 유형 모델링이 필수적임을 시사한다.
• 일반적인 딥러닝 관행과는 반대로, 작은 학습률, 큰 은닉층 크기, 드롭아웃 및 가중치 감소의 방지가 모델 성능 향상에 기여하는 것으로 밝혀졌다.