[논문 리뷰] Extending Detection with Forensic Information

Z. Berkay Celik, Patrick McDaniel외 3명|arXiv (Cornell University)|2016. 03. 31.

Advanced Malware Detection Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 지식 전이, 모델 영향력 분석, 정밀화 기법을 사용하여 학습 중에만 이용 가능한 포렌식 정보(런타임에는 사용 불가)를 활용해 보안 검출 시스템의 성능을 향상시키는 방법을 제안한다. 이 접근법은 검출 정밀도와 재현율을 향상시켜 얼굴 인식에서 최대 16.9%까지, 악성 소프트웨어 트래픽 검출에서 8.6%까지 검출 오류를 감소시킨다.

ABSTRACT

For over a quarter century, security-relevant detection has been driven by models learned from input features collected from real or simulated environments. An artifact (e.g., network event, potential malware sample, suspicious email) is deemed malicious or non-malicious based on its similarity to the learned model at run-time. However, the training of the models has been historically limited to only those features available at run time. In this paper, we consider an alternate model construction approach that trains models using forensic information--features available at training time but not at runtime--to improve the accuracy and resilience of detection systems. In particular, we adapt and extend recent advances in knowledge transfer, model influence, and distillation to enable the use of forensic data in a range of security domains. Our empirical study shows that privileged information increases detection precision and recall over a system with no privileged information: we observe up to 7.7% relative decrease in detection error for fast-flux bot detection, 8.6% for malware traffic detection, 7.3% for malware classification, and 16.9% for face recognition. We explore the limitations and applications of different privileged information techniques in detection systems. Such techniques open the door to systems that can integrate forensic data directly into detection models, and therein provide a means to fully exploit the information available about past security-relevant events.

연구 동기 및 목표

• 기존 검출 모델이 런타임 기능에만 의존하여 학습 중에 이용 가능한 유용한 포렌식 데이터를 忽시하는 한계를 해결하기 위해.
• 세부 시스템 로그나 사후 분석과 같은 특권 정보를 어떻게 활용하여 검출 정확도와 내성 강도를 향상시킬 수 있는지 탐색하기 위해.
• 런타임에 이러한 데이터가 필요하지 않은 상태에서 포렌식 데이터의 통찰을 검출 모델에 전이할 수 있는 기법을 개발하고 평가하기 위해.
• 보안 분야 전반에 걸쳐 봇넷 검출, 악성 소프트웨어 분석, 생체 인식 등 다양한 분야에서 다양한 특권 정보 기법의 영향을 정량화하기 위해.

제안 방법

• 학습 중에 포렌식 특징을 검출 모델에 통합할 수 있도록 지식 전이 기법을 응용하여 더 풍부한 역사적 데이터로부터 학습할 수 있도록 유도하기 위해.
• 모델 영향력 분석을 적용하여 어떤 학습 샘플(포렌식 샘플 포함)이 모델 결정에 가장 큰 영향을 미치는지 파악함으로써 모델의 해석 가능성과 내성 강도를 향상시키기 위해.
• 복잡한 포렌식 정보를 반영한 교사 모델에서 더 작은, 런타임 효율성이 높은 학생 모델로 지식을 전이하기 위해 모델 정밀화 기법을 사용하기 위해.
• 학습 중에 포렌식 특징을 통합하면서도 추론 시 효율성과 실현 가능성을 유지할 수 있도록 기존 검출 프레임워크를 확장하기 위해.
• 네트워크 트래픽 분석 및 악성 소프트웨어 분류를 포함한 다양한 보안 분야에서 포렌식 데이터를 활용할 수 있도록 통합된 파이프라인을 설계하기 위해.
• 다양한 검출 작업에 걸쳐 다양한 특권 정보 통합 전략의 효과를 평가하기 위해.

실험 결과

연구 질문

• RQ1 모델 학습 중에 포렌식 정보를 통합할 경우 보안 시스템의 검출 정확도와 내성 강도에 어떤 영향을 미치는가?
• RQ2 지식 전이, 모델 영향력, 정밀화 기법 중에서 특권 포렌식 데이터를 활용할 때 상대적 이점은 무엇인가?
• RQ3 어떤 보안 분야에서 특권 정보가 검출 성능 향상에 가장 큰 기여를 하는가?
• RQ4 다양한 특권 정보 기법 간의 정밀도, 재현율, 검출 오류 감소율 측면에서의 성능 비교는 어떻게 이루어지는가?
• RQ5 런타임에 이러한 데이터를 노출하지 않고 포렌식 데이터를 검출 모델에 통합할 때의 실용적 한계는 무엇인가?

주요 결과

• 포렌식 정보 통합으로 빠른 플럭스 봇 검출에서 최대 7.7%의 검출 오류 감소를 기록하여 정확도 향상을 입증하였다.
• 특권 포렌식 데이터로 학습한 악성 트래픽 검출에서 검출 오류가 8.6% 상대적으로 감소하였다.
• 악성 소프트웨어 분류에서는 검출 오류가 7.3% 상대적으로 감소하여 모델의 일반화 능력 향상을 시사하였다.
• 얼굴 인식 시스템은 16.9%의 상대적 검출 오류 감소로 가장 높은 성능 향상을 보였으며, 생체 인식 시스템에서 포렌식 데이터의 가치를 입증하였다.
• 제안된 기법들은 런타임에 특별한 데이터가 필요하지 않음에도 불구하고 풍부한 포렌식 특징을 활용할 수 있도록 해, 운영 효율성을 유지하였다.
• 실험 결과는 특권 정보가 다양한 보안 응용 분야에서 정밀도와 재현율을 모두 크게 향상시킨다는 점을 확인하였다.