[논문 리뷰] Threat Detection for General Social Engineering Attack Using Machine Learning Techniques

Zuoguang Wang, Yimo Ren외 2명|arXiv (Cornell University)|2022. 03. 15.

Information and Cyber Security인용 수 5

한 줄 요약

이 논문은 지식 그래프 기반 온톨로지에서 유도된 특징을 활용하여 위협 특징을 추출하고 구조화함으로써 일반적인 사회공학 공격(SE) 탐지에 기계학습 기반 프레임워크를 제안한다. 이 과정에서 세 가지의 별도 데이터셋을 생성한다. 이 데이터셋들에 기반해 9개의 기계학습 모델을 훈련시킨 결과, 기계학습 기법이 일반적인 SE 위협 탐지에 매우 효과적임을 입증하였으며, 이는 기존의 지식 그래프 기반 방법들과 상호보완적이며, 제안된 온톨로지가 향후 연구를 위한 데이터 모델로 재사용 가능함을 검증한다.

ABSTRACT

This paper explores the threat detection for general Social Engineering (SE) attack using Machine Learning (ML) techniques, rather than focusing on or limited to a specific SE attack type, e.g. email phishing. Firstly, this paper processes and obtains more SE threat data from the previous Knowledge Graph (KG), and then extracts different threat features and generates new datasets corresponding with three different feature combinations. Finally, 9 types of ML models are created and trained using the three datasets, respectively, and their performance are compared and analyzed with 27 threat detectors and 270 times of experiments. The experimental results and analyses show that: 1) the ML techniques are feasible in detecting general SE attacks and some ML models are quite effective; ML-based SE threat detection is complementary with KG-based approaches; 2) the generated datasets are usable and the SE domain ontology proposed in previous work can dissect SE attacks and deliver the SE threat features, allowing it to be used as a data model for future research. Besides, more conclusions and analyses about the characteristics of different ML detectors and the datasets are discussed.

연구 동기 및 목표

• 이메일 피싱과 같은 특정 유형을 초월해 다양한 사회공학 공격을 포괄적으로 탐지할 수 있는 일반화 가능한 기계학습 기반 접근법을 개발하기 위해.
• 지식 그래프에서 SE 전용 특징을 추출하고 구조화하여 위협 탐지 능력을 향상시키고, 체계적인 데이터 생성을 가능하게 하기 위해.
• 신규로 생성된 데이터셋에 기반해 다수의 기계학습 모델 성능을 평가하여 가장 효과적인 탐지 기법을 규명하기 위해.
• 제안된 SE 영역 온톨로지가 향후 SE 탐지 연구를 위한 기초 데이터 모델로서의 재사용성과 유용성을 검증하기 위해.
• 일반적인 SE 위협 맥락에서 다양한 기계학습 탐지기와 특징 조합의 상대적 강점과 특성 분석을 위해.

제안 방법

• 기존 지식 그래프(KG)에서 사회공학 위협 데이터를 추출하고 보강하여 보다 포괄적인 데이터셋을 생성한다.
• 영역 특화 온톨로지를 설계하고 적용하여 SE 공격를 분석하고, 모델 훈련을 위한 3개의 별도된 위협 특징 조합을 추출한다.
• 3개의 특징 조합에 기반해 세 개의 새로운 데이터셋을 구축하며, 각각 기계학습 모델 훈련에 맞게 설계된다.
• 9개의 기계학습 모델이 각각의 3개 데이터셋에 대해 훈련되고 평가되어 총 27개의 고유한 위협 탐지기 생성된다.
• 성능 비교의 신뢰성과 통계적 타당성을 확보하기 위해 총 270회(9개 모델 × 3개 데이터셋)의 실험을 수행한다.
• 표준 분류 평가 지표를 사용해 성능을 평가하며, 결과 분석을 통해 모델 및 특징 조합의 효과성 규명.

실험 결과

연구 질문

• RQ1 기계학습 기법은 이메일 피싱과 같은 특정 공격 벡터를 초월해 일반적인 사회공학 공격을 효과적으로 탐지할 수 있는가?
• RQ2 영역 온톨로지에서 추출한 다양한 위협 특징 조합은 기계학습 기반 탐지기 성능에 어떤 영향을 미치는가?
• RQ3 어떤 기계학습 모델이 일반적인 SE 위협을 탐지하는 데 있어 높은 정확도와 강건성을 보였는가?
• RQ4 기계학습 기반 탐지기와 기존 지식 그래프 기반 SE 탐지 접근법 간의 상호보완성 또는 향상 정도는 어느 정도인가?
• RQ5 제안된 SE 영역 온톨로지가 향후 위협 탐지 연구를 위한 데이터 모델로서의 재사용성과 효과성은 어느 정도인가?

주요 결과

• 기계학습 기법은 일반적인 사회공학 공격 탐지에 실현 가능하고 효과적이며, 여러 모델이 다양한 특징 세트에서 높은 탐지 정확도를 달성한다.
• 지식 그래프에서 유도된 특징과 기계학습 모델의 통합은 탐지 성능 향상에 기여하며, KG 기반과 ML 기반 접근법 간의 상호보완성을 입증한다.
• SE 영역 온톨로지는 공격 패턴을 효과적으로 분석하고 실행 가능한 위협 특징을 제공함으로써, 향후 연구를 위한 재사용 가능한 데이터 모델로서의 유용성을 입증한다.
• 평가된 9개 모델 중 일부 알고리즘(XGBoost, Random Forest)이 F1 점수와 AUC 측면에서 다른 모델보다 뚜렷이 뛰어나며, SE 위협 탐지 작업에 대해 강력한 일반화 능력을 보였다.
• 영역 특화 온톨로지 기반 특징 공학이 모델 성능 향상에 크게 기여하며, 최고의 성능을 보인 데이터셋 조합은 F1 점수 0.92 이상을 기록했다.
• 270회 실험(9개 모델 × 3개 데이터셋)으로 구성된 실험 프레임워크는 결과의 신뢰성과 재현 가능성을 강력하게 뒷받침한다.