[논문 리뷰] No Place to Hide: Catching Fraudulent Entities in Tensors

Yikun Ban, Xin Liu외 3명|arXiv (Cornell University)|2018. 10. 15.

Tensor decomposition and applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 값 공유 패턴을 가중치가 부여된 그래프(정보 공유 그래프, ISG)로 모델링하여 밀도 높은 부분그래프 탐색을 통해 위조된 실체를 탐지하는 새로운 프레임워크인 ISG+D-Spot를 제안한다. 이중 이론적 근거에 기반한 빠르고 병렬 처리 가능한 알고리즘인 D-Spot를 사용함으로써, 실제 데이터셋에서 최신 기술 대비 최대 11배의 속도 향상을 달성하고, 최적의 밀도보다 최소 1/2 이상의 밀도를 확보하는 부분그래프를 보장하며, 위조 탐지에서 기존 최고 수준의 성능을 뛰어넘는다.

ABSTRACT

Many approaches focus on detecting dense blocks in the tensor of multimodal data to prevent fraudulent entities (e.g., accounts, links) from retweet boosting, hashtag hijacking, link advertising, etc. However, no existing method is effective to find the dense block if it only possesses high density on a subset of all dimensions in tensors. In this paper, we novelly identify dense-block detection with dense-subgraph mining, by modeling a tensor into a weighted graph without any density information lost. Based on the weighted graph, which we call information sharing graph (ISG), we propose an algorithm for finding multiple densest subgraphs, D-Spot, that is faster (up to 11x faster than the state-of-the-art algorithm) and can be computed in parallel. In an N-dimensional tensor, the entity group found by the ISG+D-Spot is at least 1/2 of the optimum with respect to density, compared with the 1/N guarantee ensured by competing methods. We use nine datasets to demonstrate that ISG+D-Spot becomes new state-of-the-art dense-block detection method in terms of accuracy specifically for fraud detection.

연구 동기 및 목표

• 기존의 밀도 블록 탐지 방법이 텐서의 일부 차원에서만 밀도 신호가 나타날 경우 이를 탐지하지 못하는 한계를 해결하기 위해.
• 텐서 기반의 위조 탐지 문제를 밀도 높은 부분그래프 탐색으로 재정의하면서도, 모든 밀도 정보를 유지하고 이질적인 데이터 유형을 처리할 수 있도록 하기 위해.
• 고품질의 밀도 높은 부분그래프 탐지 성능을 보장하는 이론적 근거를 지닌 확장 가능하고 병렬 처리 가능한 알고리즘을 개발하기 위해.
• 정보 이론을 기반으로 핵심 특징을 우선순위화하여 숨겨진 가장 밀도 높은 블록(위조 행위자)과 일반적인 밀도 높은 블록을 구분하기 위해.
• 특징의 정보 이론적 기여도에 따라 자동으로 가중치를 조정함으로써 노이즈가 많은 특징에 대한 저항력을 향상시키기 위해.

제안 방법

• 텐서 내 각 값 공유 사례를 가중치가 부여된 간선 또는 노드로 변환하여 정보 공유 그래프(ISG)를 구성함으로써, 모든 밀도 정보를 유지한다.
• 정보 이론적 측정치를 사용해 간선의 가중치를 할당하여, 예를 들어 나이나 성별과 같은 단순한 특징보다 IP 주소나 기기 ID와 같은 분포적 중요성이 높은 특징을 우선순위로 지정한다.
• D-Spot 알고리즘을 적용하여 단일 스캔 내에서 다수의 가장 밀도 높은 부분그래프를 탐지하며, 밀도에 대해 1/2-근사 보장을 갖는 탐욕적 반복적 접근 방식을 활용한다.
• D-Spot 알고리즘을 병렬 처리 가능한 구조로 설계하여, 부분그래프를 독립적으로 처리함으로써 대규모 텐서에서의 효율적 확장이 가능하도록 한다.
• 텐서의 단일 스캔을 통해 ISG를 구축함으로써, 엔트리 수에 대해 선형 시간 복잡도를 확보한다.
• 특징 우선순위 지정을 그래프 구축 단계에 통합함으로써, 노이즈에 대한 자연스러운 저항력과 의미적으로 중요한 특징의 강조를 가능하게 한다.

실험 결과

연구 질문

• RQ1 밀도 정보를 손실 없이 유지하면서, 텐서 기반의 밀도 블록 탐지 문제를 변환된 그래프 표현에서 밀도 높은 부분그래프 탐색으로 재정의할 수 있는가?
• RQ2 기존의 검색 기반 또는 분해 기반 접근 방식보다, 그래프 기반 방법이 일부 텐서 차원에서만 밀도가 높은 숨겨진 가장 밀도 높은 블록(위조 행위자)을 더 효과적으로 탐지할 수 있는가?
• RQ3 확장 가능하고 병렬 처리 가능한 알고리즘이 위조 탐지의 밀도 높은 부분그래프 탐지에서 고속성과 강력한 이론적 보장을 동시에 달성할 수 있는가?
• RQ4 정보 이론적 특징 가중치 통합이 노이즈나 관련 없는 특징이 존재하는 환경에서 탐지 정확도를 어떻게 향상시키는가?
• RQ5 실제 위조 탐지 시나리오에서 제안된 ISG+D-Spot 프레임워크가 최신 기술 대비 얼마나 뛰어난 성능을 보이는가?

주요 결과

• ISG+D-Spot는 최신 기술 대비 최대 11배의 속도 향상을 달성하여 대규모 텐서 분석에서 뚜렷한 성능 향상을 입증한다.
• D-Spot 알고리즘은 탐지된 부분그래프가 최적의 부분그래프와 비교해 최소 1/2 이상의 밀도를 확보한다는 보장을 제공하며, 동일 조건에서 기존 방법이 1/N 밀도 보장을 뿐만 아니라 떨어지는 점을 고려할 때 우월한 성능을 보인다.
• 여덟 개의 실제 데이터셋에서 ISG+D-Spot는 M-Zoom, M-Biz, D-Cube와 같은 기존 방법보다 더 높은 AUC 점수를 기록했으며, 특히 소규모이자 숨겨진 밀도 높은 블록 탐지에서 뛰어난 성능을 보였다.
• 등록 데이터셋에서 ISG+D-Spot는 다섯 개의 특징이 존재하는 상황에서도 높은 AUC(0.9859)를 유지했지만, 기준선 방법들은 심각하게 성능이 떨어졌다(예: M-Zoom의 AUC는 0.4874로 하락), 이는 노이즈에 대한 강건성을 입증한다.
• ISG 구축 과정을 통해 값 공유 신호를 증폭시킴으로써, 이전에 기준선에서 놓친 단일 IP 서브넷을 공유하는 51명의 그룹을 성공적으로 탐지했다.
• 아마존 데이터셋에서의 런타임 성능 분석을 통해 ISG+D-Spot는 데이터 크기에 대해 거의 선형적으로 확장됨을 확인하였으며, 실세계 적용 가능성에 대한 실질적 증거를 제공한다.