[논문 리뷰] Deep Learning Algorithm for Threat Detection in Hackers Forum (Deep Web)

Victor Adewopo, Bilal Gonen외 3명|arXiv (Cornell University)|2022. 02. 03.

Network Security and Intrusion Detection인용 수 11

한 줄 요약

이 논문은 암호화된 TOR 기반 토론을 기반으로 한 딥러닝 모델인 Long Short-Term Memory(LSTM)를 제안하여 딥웹 해커 포럼의 텍스트 콘텐츠를 분석하여 사이버위협을 탐지한다. 이 모델은 지속적인 손상 지표 및 취약성 노출을 식별하는 데 94%의 정확도와 90%의 정밀도를 기록하며, 기존의 SVM 및 랜덤 포레스트와 같은 방법보다 위협 예측 작업에서 뛰어난 성능을 보였다.

ABSTRACT

In our current society, the inter-connectivity of devices provides easy access for netizens to utilize cyberspace technology for illegal activities. The deep web platform is a consummative ecosystem shielded by boundaries of trust, information sharing, trade-off, and review systems. Domain knowledge is shared among experts in hacker's forums which contain indicators of compromise that can be explored for cyberthreat intelligence. Developing tools that can be deployed for threat detection is integral in securing digital communication in cyberspace. In this paper, we addressed the use of TOR relay nodes for anonymizing communications in deep web forums. We propose a novel approach for detecting cyberthreats using a deep learning algorithm Long Short-Term Memory (LSTM). The developed model outperformed the experimental results of other researchers in this problem domain with an accuracy of 94\% and precision of 90\%. Our model can be easily deployed by organizations in securing digital communications and detection of vulnerability exposure before cyberattack.

연구 동기 및 목표

• 딥웹 해커 포럼에서 발생하는 불법적 논의와 손상 지표를 포함하는 증가하는 사이버위협 문제를 해결하기 위해.
• 공격 발생 이전에 발생하는 새로운 사이버위협과 취약성 노출을 자동으로 탐지하고 배포 가능한 시스템을 개발하기 위해.
• 자연어 기반의 위협 탐지에서 더 높은 성능을 달성하기 위해 시퀀스 모델링 기법을 활용한 LSTM을 적용하여 기존 머신러닝 모델을 개선하기 위해.
• 법집행 기관 및 사이버보안 팀이 익명화된 딥웹 커뮤니티에서의 지능 정보를 활용하여 사이버위협을 사전에 식별하고 대응할 수 있도록 하기 위해.
• 안전한 딥웹 데이터 크롤링 및 지리정보 기반 위협 프로파일링 분야의 향후 연구 기반 마련을 위해.

제안 방법

• 포럼 게시물에서 악성코드 이름, 공격 벡터, 시스템 취약성과 같은 사이버위협 관련 엔터티를 추출하기 위해 명명된 실체 인식(Named Entity Recognition, NER)을 활용하였다.
• 원시 텍스트를 딥러닝 입력에 적합한 고정 길이의 수치 행렬로 변환하기 위해 토큰화 및 시퀀스 패딩을 적용하였다.
• 포럼 논의의 순차적 의존성을 모델링하기 위해 위협 분류를 위한 Long Short-Term Memory(LSTM) 신경망 아키텍처를 설계하였다.
• 입력 시퀀스 길이를 250단어 이내로 제한한 익명화된 딥웹 포럼 텍스트 데이터셋을 사용하여 12에포크 동안 LSTM 모델을 훈련시켰다.
• 모델 안정성을 유지하기 위해 표준 NLP 전처리 기법으로 단어 임bed딩 및 시퀀스 패딩을 적용하였다.
• 학습 및 검증 세트에서 정확도, 정밀도, 재현율, F1 점수를 포함한 표준 지표를 사용하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 딥웹 해커 포럼의 비정형 텍스트에서 사이버위협을 효과적으로 탐지할 수 있는가?
• RQ2 SVM 및 랜덤 포레스트와 같은 전통적인 머신러닝 모델과 비교해보았을 때, LSTM 기반 접근법은 사이버위협 콘텐츠 분류에서 어떤 성능을 보이는가?
• RQ3 NER와 시퀀스 모델링은 포럼 논의에서 손상 지표 식별에 얼마나 높은 수준의 향상을 이끌 수 있는가?
• RQ4 이 모델은 동적인 딥웹 콘텐츠에서 알려진 위협과 새로운 위협을 일반화하여 탐지할 수 있는가?
• RQ5 이러한 모델을 실제 사이버보안 운영 환경에 도입하여 사전 위협 지능 확보에 어떤 잠재력을 지닐 수 있는가?

주요 결과

• 제안된 LSTM 모델은 딥웹 포럼 텍스트에서 사이버위협을 탐지하는 데 94%의 정확도, 90%의 정밀도, 91%의 재현율을 기록하였으며, 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 동 등(2020)의 SVM 모델(81% 정확도)과 비교해보면, LSTM 모델은 총 정확도에서 13%p 향상된 성능을 보였다.
• 아제네 등(2021)의 랜덤 포레스트 분류기(시스템 악용에 대해 97% 정확도)와 비교해도, LSTM 모델은 전체 위협 탐지에서 더 균형 잡힌 성능 지표를 확보하였다.
• 90%의 정밀도를 기록하여 진정한 양성 위협을 식별할 때 거짓 경고가 과도하게 발생하지 않는 높은 신뢰성을 보였다.
• 결과적으로 LSTMs를 활용한 시퀀스 모델링이 딥웹 포럼에서 장기적이고 맥락이 풍부한 사이버위협 논의를 분석하는 데 매우 효과적이라는 것이 확인되었다.
• 본 연구는 익명화된 딥웹 데이터를 활용한 딥러닝 기반의 사전 위협 지능 확보가 실현 가능하다는 것을 입증하였다.