[논문 리뷰] Text Data Augmentation: Towards better detection of spear-phishing emails

Mehdi Regina, Maxime Meyer외 1명|arXiv (Cornell University)|2020. 07. 04.

Spam and Phishing Detection인용 수 11

한 줄 요약

이 논문은 BERT 기반 단어 교체, 다단계 역번역, 히우리스틱 필터링을 조합하여 스피어 피싱 이메일 탐지 성능을 향상시키기 위한 코퍼스 및 작업에 관계없는 텍스트 데이터 증강 프레임워크를 제안한다. 이 프레임워크는 레이블 호환성을 유지하는 다양한 의미적으로 타당한 증강 텍스트를 생성함으로써, 비즈니스 이메일 협잡(Business Email Compromise) 탐지와 같은 저자원 텍스트 분류 작업에서 모델의 일반화 능력을 향상시킨다.

ABSTRACT

Text data augmentation, i.e., the creation of new textual data from an existing text, is challenging. Indeed, augmentation transformations should take into account language complexity while being relevant to the target Natural Language Processing (NLP) task (e.g., Machine Translation, Text Classification). Initially motivated by an application of Business Email Compromise (BEC) detection, we propose a corpus and task agnostic augmentation framework used as a service to augment English texts within our company. Our proposal combines different methods, utilizing BERT language model, multi-step back-translation and heuristics. We show that our augmentation framework improves performances on several text classification tasks using publicly available models and corpora as well as on a BEC detection task. We also provide a comprehensive argumentation about the limitations of our augmentation framework.

연구 동기 및 목표

• 스피어 피싱 이메일이 드물고 수집하기 어려운 점을 감안해, 비즈니스 이메일 협잡(Business Email Compromise, BEC) 탐지에서 애초에 부족한 정규화된 데이터 문제를 해결한다.
• 작업에 특화된 트레이닝이나 파인튜닝이 필요 없이 다양한 NLP 작업에 적용 가능한 일반 목적의 텍스트 증강 프레임워크를 개발한다.
• 다양하고 문법적으로 올바르며 레이블 호환성 있는 증강 텍스트를 생성함으로써, 저데이터 환경에서의 모델 일반화 능력을 향상시킨다.
• 증강 텍스트가 의미를 유지하고 원본과 유효한 대체문장(paraphrase)이 되도록 보장하여 데이터 오염을 방지하고 작업의 관련성을 유지한다.
• 다양한 NLP 응용 분야(예: 감성 분석, 질문 분류 등)에 쉽게 적응할 수 있는 모듈러하고 재사용 가능한 프레임워크를 제공한다.

제안 방법

• 의미적으로 유사한 단어 교체를 위해 BERT 임베딩을 활용하면서도, 유사도 임계값을 적용해 관련성을 확보한다.
• 중간 언어를 사용한 다단계 역번역을 적용하여 의미를 유지하면서도 다양성이 높은 변형문을 생성한다.
• 증강 텍스트에서 품사 태그(POS)를 유지하고 문법적 일관성을 피하기 위해 히우리스틱 규칙을 통합한다.
• 최종 검증 모듈을 구현하여 근접 중복 텍스트를 제거하고, 대체문장 검출을 통해 증강 텍스트가 원본 입력의 대체문장임을 보장한다.
• 각 입력 텍스트를 독립적으로 처리하는 파이프라인으로 모든 방법을 통합하여, 코퍼스에 관계없는 적용이 가능하도록 한다.
• 작업에 특화된 파인튜닝이나 트레이닝을 사용하지 않으며, 사전 학습된 언어 모델 위에서 서비스로 작동한다.

실험 결과

연구 질문

• RQ1 코퍼스에 관계없는 텍스트 증강 프레임워크는 BEC 탐지와 같은 저자원 NLP 작업에서 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 BERT 기반 교체, 역번역, 히우리스틱을 조합할 경우 증강 텍스트의 다양성과 타당성은 어느 정도 향상되는가?
• RQ3 검증 모듈은 증강 데이터에서 레이블 호환성 유지 및 데이터 오염 방지에 얼마나 효과적인가?
• RQ4 프레임워크의 모듈러리티가 스타일적 특징(예: 저자 식별)에 민감한 작업들에 어떻게 적응 가능한가?
• RQ5 현재의 증강 방법은 이산적 텍스트 공간에서 의미적 통합성과 문법적 정확성을 유지하는 데 어떤 한계를 지니는가?

주요 결과

• 제안된 증강 프레임워크는 공개된 모델과 데이터셋을 사용하여 여러 텍스트 분류 작업, 특히 BEC 탐지에서 모델 성능을 크게 향상시킨다.
• SST-2와 TREC-6에서의 실험 결과, 프레임워크는 피싱 외의 맥락에서도 모델의 일반화 능력을 향상시킴을 확인하여 광범위한 적용 가능성을 입증한다.
• t-SNE 시각화 결과 증강 텍스트가 원본 샘플과 의미적으로 유사하게 유지됨을 보여주며, 임베딩 공간 내 의미 있는 이웃 영역 내에서 제어된 다양성이 있음을 시사한다.
• 검증 모듈은 근접 중복 생성을 효과적으로 줄이고 증강 텍스트가 원본의 대체문장임을 보장하지만, 어휘적 겹침이 있더라도 의미가 다를 경우에는 실패할 수 있다.
• 프레임워크의 모듈러리티 덕분에 저자 식별과 같이 스타일 유지가 중요한 민감한 작업에서는 역번역 단계를 제외할 수 있다.
• 효과는 있지만, 복잡한 문법적 또는 의미적 변화가 일어나는 경우에 특히 의미의 정확성과 완벽한 일관성을 유지하기 어려운 한계가 존재한다.