[논문 리뷰] Transcending Transcend: Revisiting Malware Classification with Conformal Evaluation.

Federico Barbero, Feargus Pendlebury외 2명|arXiv (Cornell University)|2020. 10. 08.

Advanced Malware Detection Techniques인용 수 6

한 줄 요약

이 논문은 거부 기능이 있는 conformal prediction 기반 악성코드 분류 프레임워크인 Transcend을 재검토하며, 이론을 체계화하고 성능을 향상시키면서도 계산 비용을 줄이는 두 가지 개선된 평가기들을 도입한다. 편향 최소화된 데이터셋에서 평가된 결과, 개선된 프레임워크는 실세계 악성코드 탐지에 실용적이고 구현 가능한 설정을 제공하며, 오픈소스로 공개된다.

ABSTRACT

Machine learning for malware classification shows encouraging results, but real deployments suffer from performance degradation as malware authors adapt their techniques to evade detection. This phenomenon, known as concept drift, occurs as new malware examples evolve and become less and less like the original training examples. One promising method to cope with concept drift is classification with rejection in which examples that are likely to be misclassified are instead quarantined until they can be expertly analyzed. We revisit Transcend, a recently proposed framework for performing rejection based on conformal prediction theory. In particular, we provide a formal treatment of Transcend, enabling us to refine conformal evaluation theory---its underlying statistical engine---and gain a better understanding of the theoretical reasons for its effectiveness. In the process, we develop two additional conformal evaluators that match or surpass the performance of the original while significantly decreasing the computational overhead. We evaluate our extension on a large dataset that removes sources of experimental bias present in the original evaluation. Finally, to aid practitioners, we determine the optimal operational settings for a Transcend deployment and show how it can be applied to many popular learning algorithms. These insights support both old and new empirical findings, making Transcend a sound and practical solution for the first time. To this end, we release our implementation of Transcend as open source, to aid the adoption of rejection strategies by the security community.

연구 동기 및 목표

• Transcend, 즉 거부 기능이 있는 conformal prediction 기반 악성코드 분류 시스템의 이론적 기초를 체계적으로 분석하고 개선한다.
• 성능을 유지하거나 초월하면서도 계산 오버헤드를 줄이는 개선된 conformal 평가기들을 개발한다.
• 대규모 편향 최소화된 데이터셋을 사용하여 개선된 프레임워크의 정확성을 실증적으로 검증한다.
• 실세계 보안 시스템에 Transcend을 구현할 때 최적의 운영 설정을 규명한다.
• 보안 커뮤니티가 널리 활용할 수 있도록 구현 코드를 오픈소스로 공개한다.

제안 방법

• Transcend의 conformal 평가 이론을 체계화하여 통계적 기반을 명확히 하고 이론적 강건성을 향상시킨다.
• 효율성과 정확도를 최적화한 두 가지 새로운 conformal 평가기를 설계하여 성능을 유지하면서도 계산 비용을 감소시킨다.
• 다양한 인기 있는 기계학습 알고리즘에 적용하여 광범위한 호환성과 실용적 구현 가능성을 확보한다.
• 일반적인 실험적 편향을 제거한 대규모이고 철저히 캐리어된 데이터셋을 사용하여 공정하고 신뢰할 수 있는 평가를 수행한다.
• 운영 환경에서 탐지 정확도와 거부 비율을 균형 있게 유지하기 위해 거부 임계값과 신뢰 수준을 校정한다.
• 전체 구현 코드를 오픈소스로 공개하여 커뮤니티의 활용과 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 기존 Transcend 프레임워크의 이론적 한계는 무엇이며, conformal prediction 이론을 어떻게 체계적으로 개선하여 이를 해결할 수 있는가?
• RQ2 성능을 유지하거나 초월하면서도 계산 오버헤드를 크게 줄이는 새로운 conformal 평가기를 설계할 수 있는가?
• RQ3 일반적인 실험적 편향이 없는 데이터셋에서 개선된 프레임워크는 어떤 성능을 보이는가?
• RQ4 실세계 악성코드 탐지 시스템에 Transcend를 구현할 때 최적의 운영 파rameter는 무엇인가?
• RQ5 악성코드 분류에 사용되는 다양한 기계학습 모델에 대해 이 프레임워크는 어느 정도 일반화 가능한가?

주요 결과

• Transcend의 conformal 평가 이론에 대한 체계적 접근은 악성코드 분류에서 개념 이동에 대한 강건성에 대한 깊은 통찰을 드러낸다.
• 최근 개발된 두 가지 conformal 평가기는 원래 Transcend 프레임워크와 동등하거나 그 이상의 성능을 달성하면서도 계산 비용을 감소시킨다.
• 편향 최소화된 데이터셋에서의 평가 결과, 다양한 악성코드 패밀리에 걸쳐 신뢰성 있고 일반화 능력이 뛰어난 프레임워크임이 확인되었다.
• 실제 운영 환경에서 Transcend를 구현할 수 있는 최적의 설정, 즉 신뢰 수준 및 거부 비율이 규명되었으며, 이를 통해 생산 환경에의 통합이 가능해졌다.
• 이 프레임워크는 다양한 인기 있는 기계학습 알고리즘과 호환되어 다양성과 실용적 적용 가능성이 향상되었다.
• 구현 코드의 오픈소스 공개로 보안 커뮤니티에서 거부 기반 전략의 보급이 가속화될 것으로 기대된다.