[논문 리뷰] Living-off-the-Land Abuse Detection Using Natural Language Processing and Supervised Learning

Ryan Stamp|arXiv (Cornell University)|2022. 08. 26.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 자연어 처리 기법—특히 정규 표현식과 원-핫 인코딩—을 사용해 명령어 문자열을 수치적 토큰 벡터로 인코딩함으로써 생존-기반(LOL) 남용을 탐지하기 위한 새로운 지도 학습 접근법을 제안한다. 이는 악성 의도를 분류하는 데 사용된다. 모델은 가상 환경에서 이전에 보지 못한 악성 명령어를 탐지하는 데서 윈도우 디펜더를 능가하며, 기저 빈도 오류의 도전과 함께 효과적인 성능을 입증한다.

ABSTRACT

Living-off-the-Land is an evasion technique used by attackers where native binaries are abused to achieve malicious intent. Since these binaries are often legitimate system files, detecting such abuse is difficult and often missed by modern anti-virus software. This paper proposes a novel abuse detection algorithm using raw command strings. First, natural language processing techniques such as regular expressions and one-hot encoding are utilized for encoding the command strings as numerical token vectors. Next, supervised learning techniques are employed to learn the malicious patterns in the token vectors and ultimately predict the command's label. Finally, the model is evaluated using statistics from the training phase and in a virtual environment to compare its effectiveness at detecting new commands to existing anti-virus products such as Windows Defender.

연구 동기 및 목표

• 공격자가 정상적인 시스템 바이너리(예: certutil.exe, rundll32.exe)를 악용해 탐지 회피를 시도하는 생존-기반(LOL) 공격의 증가하는 위협에 대응하기 위해.
• 기존의 시그니처 기반 탐지의 한계를 극복하기 위해 자연어 처리를 통해 악성 명령어 패턴을 모델링하기 위해.
• 기저 빈도 오류를 고려하면서도, 통계적 및 필터링 기법을 적용하여 고속도의 명령어 스트림에서 가짜 경고를 줄이기 위해.
• 모듈러하고 확장 가능한 아키텍처를 설계하여 전체 모델을 재학습하지 않고도 새로운 LOLBins와 명령어 패턴에 적응할 수 있도록 하기 위해.
• certutil.exe나 rundll32.exe와 같은 정상 바이너리의 악성 사용을 탐지함으로써 엔드포인트 보안을 향상시키기 위해.

제안 방법

• 명령어 문자열이 사용자 정의 정규 표현식을 통해 분석되어, URL, 파일 경로, IP 주소, GUID, 바이너리 전용 키워드 등의 토큰을 추출하고 정규화한다.
• 토큰들이 원-핫 인코딩을 통해 수치적 벡터로 변환되어 명령어의 구문적 및 의미적 특징을 표현한다.
• 라벨이 부여된 명령어 데이터를 기반으로 지도 학습 모델을 학습시켜, 토큰 패턴을 바탕으로 명령어를 정상 또는 악성으로 분류한다.
• 실시간 명령어 스트림을 사용하여 가상 환경에서 평가함으로써, 이전에 보지 못한 악성 명령어의 탐지를 테스트한다.
• 기저 빈도 오류로 인한 가짜 경고의 영향을 줄이기 위해 화이트리스트 및 경고 필터링 기법을 시스템에 통합한다.
• 모듈러한 아키텍처를 설계하여, regsvr32, rundll32 등 다양한 LOLBins에 대해 별도로 업데이트할 수 있도록 하되, 전체 성능에 영향을 주지 않도록 한다.

실험 결과

연구 질문

• RQ1 자연어 처리 기반의 토큰화와 원-핫 인코딩은 생존-기반 공격에서 악성 명령어 패턴을 효과적으로 표현할 수 있는가?
• RQ2 토큰화된 명령어 문자열을 기반으로 학습된 지도 학습 모델은 Windows 디펜더와 같은 전통적인 악성 소프트웨어 방지 솔루션과 비교해 새로운 LOLBin 남용을 탐지하는 데 얼마나 효과적인가?
• RQ3 고속도의 명령어 모니터링 시스템에서 기저 빈도 오류는 가짜 경고 비율에 얼마나 큰 영향을 미치는가?
• RQ4 전체 모델을 재학습하지 않고도 새로운 LOLBin 기법에 대응할 수 있는 모듈러하고 확장 가능한 탐지 시스템을 구축할 수 있는가?
• RQ5 필터링 메커니즘과 화이트리스트는 실시간 탐지에서 분석가의 과부하를 줄이는 데 어떤 역할을 하는가?

주요 결과

• 모델은 자연어 처리 기법을 통해 악성 명령어 패턴을 성공적으로 탐지하며, 가상 환경에서 이전에 보지 못한 명령어에 대해 높은 탐지 정확도를 달성한다.
• 기존의 시그니처 기반 방법으로는 탐지되지 않았던 악성 명령어를 식별하는 데서 윈도우 디펜더를 능가한다.
• 기저 빈도 오류는 정상적인 시스템 활동에서 악성 명령어의 희귀성으로 인해, 명령어당 낮은 가짜 경고 비율이라도 전체 가짜 경고 비율을 크게 증가시킨다.
• 높은 가짜 경고 비율이 존재하더라도, 가짜 음성 비율 증가를 방지하기 위해 이를 유지할 것을 저자들이 권장하며, 인간 분석가의 검토 필요성을 강조한다.
• 모듈러한 설계 덕분에 regsvr32나 rundll32와 같은 다양한 LOLBins에 대해 별도로 탐지 규칙를 업데이트할 수 있으며, 다른 구성 요소에 영향을 주지 않는다.
• 특수 토큰화 규칙—$<$url$>$, $<$ext_*$>$, $<$guid$>$, $<$mal_keyword$>$—을 통해 다양한 바이너리와 명령어 구조 간 일관된 패턴 인식이 가능하다.