[논문 리뷰] Extended Abstract: Mimicry Resilient Program Behavior Modeling with LSTM based Branch Models

Hayoon Yi, Gyuwan Kim외 5명|arXiv (Cornell University)|2018. 03. 24.

Network Security and Intrusion Detection참고 문헌 14인용 수 5

한 줄 요약

이 논문은 하드웨어 지원(인텔 PT)을 통해 추출한 분기 시퀀스의 LSTM 기반 분석을 이용해 모방 공격에 강건한 프로그램 행동 모델링 기법을 제안한다. 노-옵 시스템 콜 이후 발생하는 세분화된 분기 트레이스의 이질성에 기반하여, 기존의 시스템 콜 기반 모델에서 회피하는 모방 공격을 효과적으로 탐지하며, 실제 서버 애플리케이션에서 높은 이상 탐지 정확도와 낮은 거짓 긍정률을 달성한다.

ABSTRACT

In the software design, protecting a computer system from a plethora of software attacks or malware in the wild has been increasingly important. One branch of research to detect the existence of attacks or malware, there has been much work focused on modeling the runtime behavior of a program. Stemming from the seminal work of Forrest et al., one of the main tools to model program behavior is system call sequences. Unfortunately, however, since mimicry attacks were proposed, program behavior models based solely on system call sequences could no longer ensure the security of systems and require additional information that comes with its own drawbacks. In this paper, we report our preliminary findings in our research to build a mimicry resilient program behavior model that has lesser drawbacks. We employ branch sequences to harden our program behavior model against mimicry attacks while employing hardware features for efficient extraction of such branch information during program runtime. In order to handle the large scale of branch sequences, we also employ LSTM, the de facto standard in deep learning based sequence modeling and report our preliminary experiments on its interaction with program branch sequences.

연구 동기 및 목표

• 시스템 콜 기반 프로그램 행동 모델의 모의 공격에 대한 취약성을 해결하여, 유사한 정상 시퀀스를 모방함으로써 탐지에서 회피하는 공격을 방지하기 위해.
• 런타임 행동 모델링을 위한 더 강건하고 저비용 대안으로 분기 시퀀스를 탐색하기 위해.
• 딥 러닝(LSTM)을 활용해 실시간으로 대규모 분기 시퀀스를 모델링하는 것의 실현 가능성을 평가하기 위해.
• 분기 트레이스를 효율적으로 캡처하고, LSTM 모델을 훈련시켜 이상 탐지에 활용하는 시스템(DeePBM)을 설계하고 프로토타입화하기 위해.
• 기존 및 잠재적인 모의 공격을 탐지하는 데 있어 분기 기반 모델의 효과성을 평가하기 위해.

제안 방법

• 프로그램 실행 중 사용자 모드 및 커널 모드에서 저비용이고 완전한 분기 트레이스를 수집하기 위해 인텔 프로세서 트레이싱(PT)을 활용한다.
• 분기 시퀀스가 고차원적이고 대규모이기 때문에, 순차적 데이터 모델링에 뛰어난 성능을 보이는 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 실제 프로그램(MySQL, Nagios, ProFTPD)의 정상 실행 트레이스를 기반으로 LSTM 모델을 훈련시어 기대되는 행동 패턴을 학습한다.
• 이상 탐지 탐지 성능을 평가하기 위해, 정상 및 공격 삽입 시퀀스에 대해 퍼플렉서티와 ROC 곡선을 사용한다.
• 특히 노-옵 시스템 콜 이후의 분기 트레이스 이질성을 활용하여, 정상적 행동과 모의 행동을 구분한다.
• 하드웨어 트레이싱, 시퀀스 수집, 그리고 LSTM 모델을 이용한 실시간 추론을 통합하는 프로토타입 시스템인 DeePBM을 설계한다.

실험 결과

연구 질문

• RQ1 하드웨어 트레이싱을 통해 추출한 분기 시퀀스는 시스템 콜 기반 모델을 회피하는 모의 공격을 효과적으로 탐지할 수 있는가?
• RQ2 LSTM 모델은 실제 프로그램의 대규모이고 복잡한 분기 시퀀스에 대해 얼마나 잘 일반화되는가?
• RQ3 분기 시퀀스는 노-옵 시스템 콜 주변에서 시스템 콜 행동의 이면을 얼마나 잘 드러내는가?
• RQ4 분기 기반 모델은 현대 서버 애플리케이션에서 높은 탐지율과 낮은 거짓 경고율을 달성할 수 있는가?
• RQ5 분기 시퀀스의 표현력은 새로운 모의 공격의 실현 가능성에 어떤 제약을 가하는가?

주요 결과

• LSTM 기반 분기 모델은 정상 프로그램 시퀀스에서 낮은 퍼플렉서티를 기록하여 학습된 행동 패턴과의 강력한 일치를 보였다.
• 공격 시퀀스는 일관되게 높은 퍼플렉서티를 보였으며, 이는 모델이 높은 민감도로 비정상 행동을 탐지할 수 있음을 입증했다.
• 동일한 시스템 콜 이후의 분기 시퀀스의 이질성을 탐지함으로써, 노-옵 시스템 콜을 성공적으로 식별하여 모의 공격을 탐지할 수 있었다.
• 희귀하거나 예외적인 사건(예: 시스템 충돌)조차도 이상으로 탐지되어, 분포 외 행동에 대한 강건성을 보였다.
• 모든 테스트 프로그램의 ROC 곡선은 높은 탐지율과 낮은 거짓 경고율을 보여, 전반적인 성능이 뛰어났다.
• 분기 시퀀스의 사용은 모의 공격의 공격 표면을 크게 줄였으며, 현실적인 분기 패턴을 모조리 만드는 것이 매우 제약이 있음을 의미한다.