[논문 리뷰] Under the Underground: Predicting Private Interactions in Underground Forums

Rebekah Overdorf, Carmela Troncoso외 2명|arXiv (Cornell University)|2018. 05. 11.

Social Capital and Networks인용 수 12

한 줄 요약

이 논문은 암시장 사이버범죄 커뮤니티의 공개 포럼 게시물 중에서 개인 메시지를 유발할 가능성이 있는 것을 예측하기 위해 지도 학습 기반 기계학습 방법을 제안한다. 게시물의 내용과 사용자 메타데이터를 특성으로 사용하며, 무작위 추측보다 유의미한 성능을 달성한다. 특히 자연어 처리(NLP) 특성이 예측 능력에서 지배적인 역할을 하며, 게시물 중심 또는 일반적인 개인 메시지 발생 가능성에 중점을 두기 위해 임계값 파라미터 Θ를 조정함으로써 수동 작업을 줄이는 자동 레이블링 기법을 도입한다.

ABSTRACT

Underground forums where users discuss, buy, and sell illicit services and goods facilitate a better understanding of the economy and organization of cybercriminals. Prior work has shown that in particular private interactions provide a wealth of information about the cybercriminal ecosystem. Yet, those messages are seldom available to analysts, except when there is a leak. To address this problem we propose a supervised machine learning based method able to predict which public hreads will generate private messages, after a partial leak of such messages has occurred. To the best of our knowledge, we are the first to develop a solution to overcome the barrier posed by limited to no information on private activity for underground forum analysis. Additionally, we propose an automate method for labeling posts, significantly reducing the cost of our approach in the presence of real unlabeled data. This method can be tuned to focus on the likelihood of users receiving private messages, or hreads triggering private interactions. We evaluate the performance of our methods using data from three real forum leaks. Our results show that public information can indeed be used to predict private activity, although prediction models do not transfer well between forums. We also find that neither the length of the leak period nor the time between the leak and the prediction have significant impact on our technique's performance, and that NLP features dominate the prediction power.

연구 동기 및 목표

• 희귀 유출 이벤트 외에는 거의 확보되지 않는 암시장 포럼 내 비공개 메시지 분석의 핵심적 격차를 해소하기 위해.
• 공개 포럼 게시물 중에서 비공개 메시지가 유발될 가능성이 높은 것을 예측하는 방법을 개발하여, 분석가들이 잠재력이 높은 콘텐츠에 집중할 수 있도록 유도하기 위해.
• 수동 레이블링의 높은 비용을 줄이기 위해, 임계값 파라미터 Θ를 조정하여 게시물 중심 또는 일반적인 비공개 메시지 발생 가능성에 중점을 두는 자동 레이블링 방법을 도입하기 위해.
• 예측 모델의 이식 가능성(다른 암시장 포럼 간 이식성)을 평가하고, 유출 시점과 지속 기간이 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 이 방법은 텍스트 내용과 사용자/게시물 메타데이터를 기반으로 공개 포럼 게시물을 비공개 메시지 유발 가능성이 높은지 또는 낮은지 분류하기 위해 지도 기반 기계학습을 사용한다.
• 특성으로는 NLP 임베딩(TF-IDF, BERT 유사 표현 등), 사용자 활동 지표, 게시물 길이, 시간적 메타데이터가 포함된다.
• 자동 레이블링 방법은 유사도 임계값 Θ를 사용하여 비공개 메시지가 공개 게시물에 대한 회신일 가능성을 계산한다. 이는 고값 Θ일 경우 즉각적인 회신에 중점을 두고, 저값 Θ일 경우 일반적인 사용자 메시지 활동에 중점을 두게 된다.
• 모델은 실제 세 개의 암시장 포럼에서 유출된 데이터를 기반으로 학습되며, 비공개 메시지-게시물 연결 관계에 대해 자동 레이블링 방법을 적용하여 레이블을 도출한다.
• 이식 가능성과 시기 변동에 대한 강건성을 평가하기 위해, 포럼 간 및 포럼 내 설정에서 평가가 수행된다.
• 임계값 파라미터 Θ는 레이블링의 유연성을 제공한다: 고값 Θ는 게시 후 빠른 메시지 회신에 중점을 두어 회신의 관련성에 대한 신뢰도를 높인다.

실험 결과

연구 질문

• RQ1 암시장 사이버범죄 포럼에서 공개 포럼 게시물을 신뢰성 있게 사용하여 이후 비공개 메시지를 예측할 수 있는가?
• RQ2 자동 레이블링 방법은 레이블 품질을 유지하면서 수동 애너테이션 작업을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 예측 모델의 성능은 유출 기간의 길이나 유출 시점과 예측 시점 간의 간격에 따라 영향을 받는가?
• RQ4 다른 사용자 커뮤니티와 콘텐츠 스타일을 가진 다양한 암시장 포럼 간에 훈련된 모델의 이식 가능성은 어느 정도인가?
• RQ5 콘텐츠 기반 특성과 메타데이터 기반 특성 중에서 비공개 메시지 생성에 가장 예측력이 높은 것은 무엇인가?

주요 결과

• 모델은 무작위 추측보다 유의미하게 뛰어난 성능을 보이며, 공개 정보를 활용해 비공개 활동을 추론할 수 있음을 입증한다.
• 콘텐츠 기반 특성, 특히 NLP 표현이 예측 능력에서 지배적인 역할을 하며, 메타데이터 특성은 개별적으로도 상당한 신호를 제공한다.
• 유출 기간의 길이나 유출 시점과 예측 시점 간의 간격이 모델 성능에 유의미한 영향을 주지 않아, 시간이 지나도 안정적인 포럼 동역학이 유지됨을 시사한다.
• 한 포럼에서 훈련된 모델는 다른 포럼에서 테스트할 경우 성능이 떨어지며, 이는 이식 가능성에 제한이 있음을 보여주며, 타겟 포럼 전용 훈련 데이터가 필요함을 시사한다.
• 자동 레이블링 방법은 수동 작업을 효과적으로 줄였으며, 고값 Θ는 시기적절하고 유력한 회신에 집중하고, 저값 Θ는 일반적인 사용자 메시지 수용성까지 포괄함을 수동 평가로 검증했다.