[논문 리뷰] CATBERT: Context-Aware Tiny BERT for Detecting Social Engineering Emails

Younghoo Lee, Joshua Saxe외 1명|arXiv (Cornell University)|2020. 10. 07.

Personal Information Management and User Behavior참고 문헌 20인용 수 19

한 줄 요약

CATBERT는 이메일 본문 텍스트와 헤더 기능을 통합하여 표적 공격을 받은 사회공학적 이메일을 1%의 거짓 양성률에서 87%의 검출률로 탐지하는 컨텍스트 인식형, 압축된 BERT 모델이다. 반의 수의 트랜스포머 블록을 경량 어댑터로 대체하고 맥락 기반 메타데이터를 통합함으로써, LSTM, 로지스틱 회귀, DistilBERT 기준 모델보다 뛰어난 정확도, 속도(160% 빠름), 그리고 철자 실수와 동의어 치환에 대한 강건성을 확보한다.

ABSTRACT

Targeted phishing emails are on the rise and facilitate the theft of billions of dollars from organizations a year. While malicious signals from attached files or malicious URLs in emails can be detected by conventional malware signatures or machine learning technologies, it is challenging to identify hand-crafted social engineering emails which don't contain any malicious code and don't share word choices with known attacks. To tackle this problem, we fine-tune a pre-trained BERT model by replacing the half of Transformer blocks with simple adapters to efficiently learn sophisticated representations of the syntax and semantics of the natural language. Our Context-Aware network also learns the context representations between email's content and context features from email headers. Our CatBERT(Context-Aware Tiny Bert) achieves a 87% detection rate as compared to DistilBERT, LSTM, and logistic regression baselines which achieve 83%, 79%, and 54% detection rates at false positive rates of 1%, respectively. Our model is also faster than competing transformer approaches and is resilient to adversarial attacks which deliberately replace keywords with typos or synonyms.

연구 동기 및 목표

• 공통 키워드나 악성 코드가 없는 공격에 의해 전통적인 서명 기반 및 머신러닝 기반 탐지 기술에서 회피되는 수작업으로 제작된 표적 피싱 이메일을 탐지하는 데 도전하는 것.
• 이메일 본문의 자연어 표현과 이메일 헤더에서 유래한 맥락 기반 특징을 통합하여 탐지 성능을 향상시키는 것.
• 모델 복잡도와 추론 지연을 줄이면서도 높은 정확도를 유지하여 보안 시스템에서 실시간 배포를 가능하게 하는 것.
• 타원적 회피 기법(예: 철자 실수, 동의어 치환 등)에 대한 강건성을 향상시키는 것.

제안 방법

• 모델 크기와 계산 비용을 줄이기 위해 반의 수의 트랜스포머 블록을 경량 어댑터로 교체하여 미리 훈련된 BERT 모델을 미세조정하는 방식으로 구현.
• 이메일 헤더에서 유래한 맥락 기반 특징(예: 발신자-수신자 관계, 도메인 정보 등)을 BERT 기반 텍스트 표현과 통합하여 탐지 정확도를 향상.
• 두 단계로 모델을 훈련: 대규모 정상 텍스트에서의 사전 훈련 이후, 본문 및 헤더 특징을 모두 포함한 표적 피싱 이메일 데이터셋에서의 미세조정.
• BERT의 맥락 기반 어텐션과 어댑터 모듈을 조합한 하이브리드 아키텍처를 도입하여 성능를 유지하면서도 파rameter 수를 줄임.
• 모델 결정의 해석 가능성과 악성 편향에 대한 강건성을 평가하기 위해 LIME을 사용.
• 어둠의 샘플을 생성하기 위해 동의어 치환 및 철자 오류 삽입을 활용하여, 악성 회피 시도에 대한 내성 강도를 평가.

실험 결과

연구 질문

• RQ1 공통 키워드나 알려진 공격에 악성 코드가 없는 표적 피싱 이메일을 효과적으로 탐지할 수 있는, 미세조정된 압축 BERT 모델은 가능한가?
• RQ2 이메일 본문 텍스트만을 사용하는 모델에 비해, 이메일 헤더의 맥락 정보를 통합하면 NLP 기반 피싱 탐지기의 성능이 얼마나 향상되는가?
• RQ3 어댑터 기반 압축은 정확도를 희생시키지 않고 모델 크기와 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 동의어 치환 또는 철자 실수를 통해 탐지를 회피하려는 악성 공격에 대해 모델은 얼마나 강건한가?
• RQ5 단어 재배열이나 동의어 치환과 같은 의미적 편향이 가해진 상황에서도 모델은 높은 성능을 유지할 수 있는가?

주요 결과

• CATBERT는 1%의 거짓 양성률에서 87%의 검출률을 기록했으며, 동일 조건에서 DistilBERT(83%), LSTM(79%), 로지스틱 회귀(54%)를 크게 앞서는 성능을 보였다.
• DistilBERT보다 15% 작고 160% 더 빠르며, 이미 표준 BERT보다 40% 작아서 실시간 배포에 효율적인 성능을 제공한다.
• CATBERT는 악성 공격에 대해 강력한 강건성을 보였으며, 동의어 치환 및 철자 오류 삽입 조건에서도 높은 정확도를 유지했고, 기준 모델들은 성능이 심각하게 저하되었다.
• LIME 분석을 통해 CATBERT는 'Payment'이나 'P@yment'과 같은 의심스러운 토큰을 철자 실수나 유니코드 문자로 가려져도 정확히 식별하는 것으로 확인되었다.
• 헤더 맥락 기반 특징 통합은 순수 BERT보다 탐지 성능을 향상시켜 메타데이터가 피싱 탐지에 있어 가치가 있음을 입증했다.
• 모델은 'P'와 'yment'와 같은 서브워드 토큰을 의심스럽게 식별함으로써, 유니코드로 가려진 악성 이메일도 성공적으로 탐지했으며, 이는 유니코드 가림 기법에 대한 내성 강도를 보여주었다.