[논문 리뷰] Structural Analysis of Criminal Network and Predicting Hidden Links using Machine Learning

Emrah Budur, Seungmin Lee외 1명|arXiv (Cornell University)|2015. 07. 21.

Crime Patterns and Interventions참고 문헌 8인용 수 14

한 줄 요약

이 논문은 그래프 기반 특징과 기울기 부스팅 기계(GBM)를 사용하여 범죄 네트워크의 은밀한 연결을 예측하는 기계학습 접근법을 제안한다. 링크 예측 문제를 이元 분류 작업으로 변환함으로써, 가중치가 부여된 PageRank와 하이브리드 공격 전략을 활용하여 기존의 노드 삭제 기법보다 뛰어난 네트워크 파괴 성능을 달성한다.

ABSTRACT

Analysis of criminal networks is inherently difficult because of the nature of the topic. Criminal networks are covert and most of the information is not publicly available. This leads to small datasets available for analysis. The available criminal network datasets consists of entities, i.e. individual or organizations, which are linked to each other. The links between entities indicates that there is a connection between these entities such as involvement in the same criminal event, having commercial ties, and/or memberships in the same criminal organization. Because of incognito criminal activities, there could be many hidden links from entities to entities, which makes the publicly available criminal networks incomplete. Revealing hidden links introduces new information, e.g. affiliation of a suspected individual with a criminal organization, which may not be known with public information. What will we be able to find if we can run analysis on a larger dataset and use link prediction to reveal the implicit connections? We plan to answer this question by using a dataset that is an order of magnitude more than what is used in most criminal networks analysis. And by using machine learning techniques, we will convert a link prediction problem to a binary classification problem. We plan to reveal hidden links and potentially hidden key attributes of the criminal network. With a more complete picture of the network, we can potentially use this data to thwart criminal organizations and/or take a Pareto approach in targeting key nodes. We conclude our analysis with an effective destruction strategy to weaken criminal networks and prove the effectiveness of revealing hidden links when attacking to criminal networks.

연구 동기 및 목표

• 은밀한 활동과 제한된 공개 정보로 인해 데이터가 불완전한 범죄 네트워크 문제를 다루기 위해.
• 기계학습을 활용하여 희박하고 불완전한 범죄 네트워크에서 링크 예측 정확도를 향상시키기 위해.
• 예측된 링크 구조를 바탕으로 고영향도 노드를 식별하고 대상으로 삼음으로써 효과적인 네트워크 파괴 전략을 개발하기 위해.
• 은밀한 링크 발견이 전략적 노드 제거를 통해 범죄 네트워크의 저항력을 약화시키는 데 미치는 영향을 평가하기 위해.

제안 방법

• 공통 이웃, 재즈드 계수, 최단 경로 거리와 같은 그래프 기반 특징을 사용하여 링크 예측 문제를 이원 분류 작업으로 변환하였다.
• 다양한 링크 예측 지표를 앙상블하고 모델의 일반화 능력을 향상시키기 위해 기울기 부스팅 기계(GBM)를 활용하였다.
• 예측된 링크 확률을 간선 가중치로 할당하여 중심성 기반 분석을 위한 가중치가 부여된 그래프를 구성하였다.
• 가중치가 부여된 PageRank 점수를 계산하여 네트워크 파괴를 위한 고영향도 노드를 식별하였으며, 정적 및 반복적 점수 계산 방식을 모두 사용하였다.
• 최고의 차수를 가진 노드 제거와 가중치가 부여된 PageRank 선택을 조합한 하이브리드 공격 전략을 설계하여 단기적 파괴 효과와 장기적 네트워크 분할 간의 균형을 이루었다.
• 최대 약한 연결 성분(WCC) 크기와 네트워크 지름 등의 지표를 사용하여 공격 효과를 평가하였다.

실험 결과

연구 질문

• RQ1 표준 그래프 특징을 사용할 때 기계학습 모델이 희박하고 불완전한 범죄 네트워크에서 은밀한 링크를 얼마나 잘 예측할 수 있는가?
• RQ2 특히 군집화와 탈중앙화성과 같은 네트워크 구조가 링크 예측 성능에 어떤 영향을 미치는가?
• RQ3 노드 대상 전략 중에서(예: 차수, PageRank, 가중치가 부여된 PageRank) 어떤 것이 범죄 네트워크 구조를 가장 효과적으로 파괴하는가?
• RQ4 차수와 가중치가 부여된 PageRank 선택을 조합한 하이브리드 공격 전략이 개별 방법보다 네트워크 분할 성능에서 뛰어나게 작용하는가?
• RQ5 예측된 링크 확률을 간선 가중치로 사용할 경우 네트워크 파괴 시뮬레이션의 정확도는 어떻게 향상되는가?

주요 결과

• GBM 기반 링크 예측 모델은 군집도가 낮고 탈중앙화된 네트워크에서 더 높은 성능을 보였으며, 이는 변동성이 낮고 일반화 능력이 뛰어남을 시사한다.
• 가중치가 부여된 PageRank 방법은 네트워크 파괴에서 모든 다른 PageRank 변형보다 뛰어난 성능을 보였으며, 최소한의 최대 WCC 크기와 가장 빠른 지름 감쇠를 보였다.
• 가장 높은 차수를 가진 노드 제거와 가중치가 부여된 PageRank 선택을 조합한 하이브리드 공격 전략이 가장 우수한 전체 파괴 성능을 달성하였으며, 두 방법의 이론적 최소값을 충족시켰다.
• 하이브리드 방법은 무거운 尾 꼬리 분포를 보이며 지름이 급격히 감소하는 경향을 보였으며, 이는 다수의 공격 단계에서 효율적인 분할을 의미한다.
• 연구 결과는 예측된 링크 확률을 간선 가중치로 통합함으로써 네트워크 파괴 전략의 효과성이 크게 향상됨을 입증하였다.
• 결과적으로 은밀한 링크를 기계학습을 통해 드러내는 것은 범죄 네트워크의 핵심 노드를 더 전략적이고 효과적으로 대상으로 삼는 데 기여한다.