[논문 리뷰] A Novel Way of Identifying Cyber Predators

Dan Liu, Ching Y. Suen외 1명|arXiv (Cornell University)|2017. 12. 11.

Advanced Malware Detection Techniques참고 문헌 3인용 수 17

한 줄 요약

이 논문은 LSTM-RNN 언어 모델링, 문장 벡터 표현, 그리고 FastText 감성 분석을 결합한 새로운 딥러닝 접근법을 제안하여 온라인 대화에서 사이버 예속자를 식별한다. LSTM가 생성한 문장 벡터와 감성 스코어를 활용함으로써, 이 방법은 100% 정밀도와 81.10% 재현율을 달성하여 SPI 경쟁에서 상위 성과를 기록한 바를 초월하며, 텍스트 시퀀스에서 예속 행동을 탐지하는 데 있어 높은 정확도를 입증한다.

ABSTRACT

Recurrent Neural Networks with Long Short-Term Memory cell (LSTM-RNN) have impressive ability in sequence data processing, particularly for language model building and text classification. This research proposes the combination of sentiment analysis, new approach of sentence vectors and LSTM-RNN as a novel way for Sexual Predator Identification (SPI). LSTM-RNN language model is applied to generate sentence vectors which are the last hidden states in the language model. Sentence vectors are fed into another LSTM-RNN classifier, so as to capture suspicious conversations. Hidden state enables to generate vectors for sentences never seen before. Fasttext is used to filter the contents of conversations and generate a sentiment score so as to identify potential predators. The experiment achieves a record-breaking accuracy and precision of 100% with recall of 81.10%, exceeding the top-ranked result in the SPI competition.

연구 동기 및 목표

• 실시간 텍스트 대화에서 온라인 성적 예속자를 식별하는 데 도전하는 데 목적을 두며.
• 성적 예속자 식별(SPI) 경쟁에서 기존 방법을 뛰어넘는 정확도와 정밀도 향상을 목표로 한다.
• 예측 불가능한 예속 대화 패턴에 일반화할 수 있는 강력한, 순서에 민감한 모델을 개발하는 데 목적이 있다.
• 사용자 행동 프로파일링을 향상시키기 위해 감성 분석과 문장 수준의 임베딩을 통합하는 데 목적이 있다.
• 확장 가능하고 자동화된 방법으로 의심스러운 온라인 상호작용을 식별하기 위해 딥러닝을 활용하는 데 목적이 있다.

제안 방법

• 언어 모델의 최종 은닉 상태로 문장 벡터를 생성하기 위해 LSTM-RNN을 활용하여 순서적 맥락을 포착한다.
• 학습된 문장 벡터를 두 번째 LSTM-RNN 분류기의 입력으로 사용하여 의심스러운 대화 패턴을 탐지한다.
• FastText를 적용하여 대화 내용을 분석하고 감성 스코어를 계산하여 정서적으로 조작하는 또는 예속적인 언어를 경고한다.
• 감성 스코어를 LSTM가 생성한 문장 표현과 결합하여 탐지 민감도를 향상시킨다.
• 예속 행동의 특징을 학습하기 위해 대화 시퀀스를 기반으로 종합적인 모델을 훈련시킨다.
• 새로운, 알려지지 않은 문장에 대한 고정 길이의 벡터 표현으로 LSTM-RNN의 마지막 은닉 상태를 활용한다.

실험 결과

연구 질문

• RQ1 LSTM-RNN과 FastText를 융합한 하이브리드 딥러닝 모델이 온라인 대화에서 사이버 예속자를 탐지하는 데 향상된 성능을 보일 수 있는가?
• RQ2 LSTM-RNN에서 유도된 문장 수준의 임베딩이 순차적 텍스트 데이터에서 예속 행동을 식별하는 데 얼마나 기여하는가?
• RQ3 감성 분석과 신경망 순서 모델링을 통합할 경우 사이버 예속자 탐지의 정밀도와 재현율에 어떤 영향을 미치는가?
• RQ4 모델은 높은 탐지 정확도를 유지하면서도 새로운 대화에 일반화할 수 있는가?
• RQ5 제안된 방법이 SPI 경쟁에서 최신 기술 수준의 접근법을 뛰어넘을 수 있는가?

주요 결과

• 제안된 방법은 테스트 세트에서 100% 정밀도를 달성하여 가짜 양성 결과가 전혀 없음을 나타낸다.
• 모델은 81.10%의 재현율을 기록하여 실제로 예속된 상호작용의 80% 이상을 성공적으로 탐지했다.
• 모델은 SPI 경쟁에서 상위 성과를 기록한 결과를 뛰어넘어 이 작업의 정확도와 정밀도 기준을 새롭게 설정했다.
• LSTM가 생성한 문장 벡터의 사용은 새로운 문장을 효과적으로 표현하고 일반화를 지원했다.
• FastText를 통한 감성 분석은 예속 행동에서 흔히 나타나는 정서적으로 조작적인 언어 패턴을 식별하는 데 기여했다.
• 순서 모델링과 감성 분석의 조합은 기준 모델 대비 탐지 성능을 크게 향상시켰다.