[논문 리뷰] Heterogeneous Graph Neural Networks for Malicious Account Detection

Ziqi Liu, Chaochao Chen외 4명|arXiv (Cornell University)|2020. 02. 27.

Network Security and Intrusion Detection참고 문헌 22인용 수 6

한 줄 요약

이 논문은 알리페이의 계정-장치 그래프에서 장치 및 활동 집적 패턴을 모델링함으로써 악성 계정을 탐지하는 이질적 그래프 신경망인 GEM을 제안한다. 주목적 메커니즘을 사용해 다양한 장치 유형의 중요도를 가중치를 부여하고, 그래프 컨볼루션 레이어를 통해 분류 가능한 임베딩을 학습함으로써 GEM은 온라인 배포에서 98%의 정밀도를 달성하고, 특히 고재현율 시나리오에서 베이스라인보다 정밀도-재현율 트레이드오프에서 뛰어난 성능을 보였다.

ABSTRACT

We present, GEM, the first heterogeneous graph neural network approach for detecting malicious accounts at Alipay, one of the world's leading mobile cashless payment platform. Our approach, inspired from a connected subgraph approach, adaptively learns discriminative embeddings from heterogeneous account-device graphs based on two fundamental weaknesses of attackers, i.e. device aggregation and activity aggregation. For the heterogeneous graph consists of various types of nodes, we propose an attention mechanism to learn the importance of different types of nodes, while using the sum operator for modeling the aggregation patterns of nodes in each type. Experiments show that our approaches consistently perform promising results compared with competitive methods over time.

연구 동기 및 목표

• 공격자가 장치 및 활동 집적 패턴을 악용하는 대규모 금융 플랫폼(예: 알리페이)에서 악성 계정을 탐지하는 과제 해결.
• 저 신호 대 잡음 비율으로 인해 높은 거짓 음성 비율을 보이는 룰 기반 및 전통적 그래프 방법의 한계 극복.
• 장치 집적과 활동 집적을 공격자의 핵심 약점으로 간주하여 함께 모델링하는 신경망 기반 접근법 개발.
• 악성 행동을 식별하는 데 있어 이질적 장치 유형(예: UMID, 전화번호, MAC)의 적응형 데이터 기반 중요도를 학습함으로써 탐지 성능 향상.
• 확장성 있고 실시간으로 악성 계정을 탐지할 수 있도록 하되, 높은 정밀도와 재현율을 확보하고 거짓 양성률을 줄이며 더 많은 고위험 계정을 포착함.

제안 방법

• 계정 및 다양한 장치 유형(예: UMID, 전화번호, MAC, IMSI)을 노드로, 계정-장치 관계를 간선으로 하는 이질적 계정-장치 그래프 구축.
• 동일한 유형의 노드 간 특징을 집계하기 위해 합산 집계 연산자를 사용하는 그래프 컨볼루션 네트워크(GCN) 적용으로 그래프 내 구조적 패턴 파악.
• 각 장치 유형에 대해 동적이고 데이터 기반의 중요도 계수를 학습하는 주목적 메커니즘 도입으로, 잡음이 많거나 신뢰도가 낮은 장치(예: IP 주소)의 영향도를 낮춤.
• 다중 홉을 통해 정보 전파가 가능하도록 이중 레이어 GCN 아키텍처 사용으로, 직접 연결되지 않은 악성 클러스터도 탐지 가능.
• 이전에 레이블이 부여된 데이터를 사용해 지도 학습을 통해 모델을 종합적으로 훈련하고, 과적합을 방지하기 위해 L2 정규화를 적용하며 F1 점수 최적화.
• 정밀도-재현율 곡선, 임베딩 크기 및 깊이에 대한 아블레이션 연구, 주목적 계수 분석을 통한 특징 중요도 해석을 위한 성능 평가.

실험 결과

연구 질문

• RQ1 장치 집적과 활동 집적을 공격자의 약점으로 간주할 때, 이질적 그래프 신경망이 효과적으로 악성 계정을 탐지할 수 있는가?
• RQ2 주목적 메커니즘이 다양한 장치 유형의 상대적 중요도를 학습함으로써 악성 행동 식별에 있어 탐지 성능을 어떻게 향상시키는가?
• RQ3 실제 알리페이 데이터에서 전통적인 연결된 부분그래프 및 룰 기반 방법에 비해 그래프 신경망 접근법이 정밀도와 재현율 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ4 이 이질적 그래프 환경에서 GCN 아키텍처의 최적의 깊이와 임베딩 크기는 무엇이며, 이는 모델 일반화에 어떤 영향을 미치는가?
• RQ5 모델는 실시간 시스템에 배포될 수 있는가? 높은 정밀도와 커버리지가 확보되는가? 기존 룰 기반 시스템과 실사용 상황에서 어떻게 비교되는가?

주요 결과

• 주목적 기반의 GEM-attention은 정밀도-재현율 곡선 아래 면적 측면에서 모든 베이스라인을 크게 능가하는 최고의 성능 달성.
• 매일 새로 등록된 상위 10,000개 계정을 평가할 때 온라인 배포에서 98% 이상의 정밀도 확보하여 실제 적용에서의 뛰어난 신뢰성 입증.
• 이전 룰 기반 시스템 대비 10% 더 많은 악성 계정 탐지 가능하면서도 높은 정밀도 유지하여 정확도를 희생시키지 않고 재현율 향상됨.
• 주목적 계수 분석 결과 UMID(0.4412)와 전화번호(0.2952)가 가장 정보가 풍부한 장치 유형임을 확인하였고, IMSI와 TID(0.0142 및 0.0125)는 기여도가 미미하여 모델의 해석 가능성 검증.
• 최소 두 개의 은닉 레이어가 성능 향상에 필수적임을 확인하였으며, 단일 레이어 모델은 이질적 그래프 구조로 인해 충분한 이웃 정보를 포착하지 못함.
• 임베딩 크기를 8에서 128로 다양하게 조정해도 적절한 정규화가 적용된 경우 F1 점수에 유의미한 영향을 미치지 않아 하이퍼파라미터 선택에 대해 뛰어난 내구성 확보.