[논문 리뷰] FEEBO: An Empirical Evaluation Framework for Malware Behavior Obfuscation

Sebastian Bănescu, Tobias Wüchner외 3명|arXiv (Cornell University)|2015. 02. 11.

Advanced Malware Detection Techniques참고 문헌 17인용 수 4

한 줄 요약

FEEBO는 악성 소프트웨어 바이너리의 시스템 호출 행동을 체계적으로 가로막아 n-그램 기반 행동 검출 기법의 내구성 평가를 위한 새로운 경험적 프레임워크이다. 이는 이러한 검출 접근 방식이 행동 가로막힘에 매우 민감하며, 삽입, 재정렬 또는 병합 변형에 의해 정밀도가 크게 감소함을 시사하며, 실제 세계의 가로막힘 기법에 대비한 내구성에 한계가 있음을 보여준다.

ABSTRACT

Program obfuscation is increasingly popular among malware creators. Objectively comparing different malware detection approaches with respect to their resilience against obfuscation is challenging. To the best of our knowledge, there is no common empirical framework for evaluating the resilience of malware detection approaches w.r.t. behavior obfuscation. We propose and implement such a framework that obfuscates the observable behavior of malware binaries. To assess the framework's utility, we use it to obfuscate known malware binaries and then investigate the impact on detection effectiveness of different $n$-gram based detection approaches. We find that the obfuscation transformations employed by our framework significantly affect the precision of such detection approaches. Several $n$-gram-based approaches can hence be concluded not to be resilient against this simple kind of obfuscation.

연구 동기 및 목표

• 행동 가로막힘에 대한 악성 소프트웨어 검출 내구성 평가를 위한 표준화된 경험적 프레임워크 부족 문제를 해결하기 위해.
• n-그램 기반 접근 방식에서 행동 가로막힘이 검출 정밀도에 미치는 영향을 재현 가능한 실험을 가능하게 하기 위해.
• 기존 알려진 악성 소프트웨어 샘플에 대해 실세계의 가로막힘 기법—예: 시스템 호출 삽입, 재정렬, 대체—을 시뮬레이션하기 위해.
• 이러한 가로막힘이 악성 소프트웨어 기능을 유지하면서도 행동 검출을 회피하는 데 얼마나 효과적인지 평가하기 위해.
• 진화하는 가로막힘 기법 하에서 검출 내구성에 대한 향후 연구의 기초를 제공하기 위해.

제안 방법

• FEEBO는 알려진 악성 소프트웨어 바이너리를 입력으로 받아 외부적으로 노출된 시스템 호출 시퀀스에 대해 제어 가능한 가로막힘 변형을 적용한다.
• 실행 중 시스템 호출 트레이스를 인strument하고 모니터링하기 위해 Intel Pin을 사용하여 행동 수정에 정밀한 제어를 가능하게 한다.
• 가로막힘 기법으로는 불필요한 시스템 호출 삽입, 기존 호출 재정렬, 의미적으로 동일한 호출로의 대체가 포함된다.
• 각 악성 소프트웨어 샘플에 대해 변형의 강도와 조합을 다양하게 하여 여러 개의 가로막힘 변형 버전을 생성한다.
• 원본 및 가로막힘 트레이스에 대해 n-그램 기반 분류기(예: n-그램 빈도 모델)를 사용하여 검출 정밀도를 평가한다.
• Levenshtein 거리로 행동 이질성을 측정함으로써, 가로막힘 스펙트럼 전반에 걸쳐 다양하고 밀도 높은 샘플링을 보장하는 포화 기반 접근 방식을 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 행동 가로막힘 기법—예를 들어 시스템 호출 삽입 및 재정렬—이 n-그램 기반 행동 검출 시스템의 검출 정밀도에 얼마나 큰 영향을 미치는가?
• RQ2 다중 가로막힘 기법의 조합(예: 삽입 및 재정렬)이 단일 기법 대비 검출 내구성에 어떤 영향을 미치는가?
• RQ3 악성 소프트웨어 기능을 유지하면서도 의미적으로 동일한 시스템 호출로의 대체는 n-그램 기반 검출 접근 방식에 대해 얼마나 내구적인가?
• RQ4 가로막힘 트레이스의 밀도와 분포는 다양한 가로막힘 프로파일 간 검출 평가의 신뢰성에 어떻게 영향을 미치는가?
• RQ5 기본 진실(ground truth)이 희박해질 때, 특히 가로막힘 악성 소프트웨어 샘플로 분류기를 훈련시키는 데서 어떤 함의가 있는가?

주요 결과

• FEEBO는 각 샘플당 375개의 고유한 가로막힘 변형을 성공적으로 생성하였으며, 특히 삽입과 재정렬의 병합 프로파일에서 가로막힘 스펙트럼 전반에 걸쳐 높은 밀도를 확보하였다.
• 행동 가로막힘 하에서 n-그램 기반 검출 접근 방식의 정밀도가 크게 감소하였으며, 특히 삽입과 재정렬의 병합 시나리오에서 가장 심각한 열화가 관찰되었다.
• 최소한의 가로막힘 조차도 n-그램 모델의 검출 정밀도를 상당히 감소시켜 행동 변화에 대한 높은 민감도를 시사한다.
• 프레임워크의 가로막힘 변형은 모든 테스트 케이스에서 악성 소프트웨어 기능을 유지하였으며, 실행 중 어떤 가로막힘 샘플도 충돌하지 않았기 때문에 평가의 타당성이 뒷받침된다.
• 기본 분류기의 선택(예: 나이브 베이즈, SVM, 랜덤 포레스트)이 n-그램 접근 방식의 가로막힘에 대한 상대적 민감도에 크게 영향을 주지 않으며, 이는 n-그램 모델링 접근 방식 자체에 근본적인 취약성이 있음을 시사한다.
• 이 연구는 중요한 격차를 드러내며, 현재의 행동 검출 시스템은 간단하지만 효과적인 런타임 행동 가로막힘에 대비해 내구성이 부족하며, 실세계 배포에 대한 우려를 제기한다.