[논문 리뷰] Towards interpreting ML-based automated malware detection models: a survey

Yuzhou Lin, Xiaolin Chang|arXiv (Cornell University)|2021. 01. 15.

Advanced Malware Detection Techniques참고 문헌 96인용 수 5

한 줄 요약

이 종합적 서베이는 기계학습 기반 악성코드 탐지 모델의 해석 가능성에 대한 포괄적인 분류 체계와 평가 프레임워크를 제안하며, 이러한 시스템의 블랙박스 성격을 해결하고자 한다. 이 연구는 악성코드 탐지 분야의 해석 가능성 방법을 분석하고, 기존 기계학습 해석 가능성 분류 체계를 바탕으로 새로운 분류 체계를 도입하며, 방법별 특성 속성을 활용해 최신 기법들의 해석 가능성 품질을 정량화한다.

ABSTRACT

Malware is being increasingly threatening and malware detectors based on traditional signature-based analysis are no longer suitable for current malware detection. Recently, the models based on machine learning (ML) are developed for predicting unknown malware variants and saving human strength. However, most of the existing ML models are black-box, which made their pre-diction results undependable, and therefore need further interpretation in order to be effectively deployed in the wild. This paper aims to examine and categorize the existing researches on ML-based malware detector interpretability. We first give a detailed comparison over the previous work on common ML model inter-pretability in groups after introducing the principles, attributes, evaluation indi-cators and taxonomy of common ML interpretability. Then we investigate the interpretation methods towards malware detection, by addressing the importance of interpreting malware detectors, challenges faced by this field, solutions for migitating these challenges, and a new taxonomy for classifying all the state-of-the-art malware detection interpretability work in recent years. The highlight of our survey is providing a new taxonomy towards malware detection interpreta-tion methods based on the common taxonomy summarized by previous re-searches in the common field. In addition, we are the first to evaluate the state-of-the-art approaches by interpretation method attributes to generate the final score so as to give insight to quantifying the interpretability. By concluding the results of the recent researches, we hope our work can provide suggestions for researchers who are interested in the interpretability on ML-based malware de-tection models.

연구 동기 및 목표

• 기계학습 기반 악성코드 탐지 모델의 해석 가능성 부족 문제를 해결하여 신뢰도 향상과 실세계 적용을 가능하게 하기 위해.
• 기계학습 기반 악성코드 탐지 시스템에서의 해석 가능성 연구를 체계적으로 분류하고 분석하기 위해.
• 모델의 복잡성과 대비 공격에 대한 강건성과 같은 해석 과정에서의 주요 과제를 특정하기 위해.
• 최신 기술의 해석 방법을 체계적으로 분류하기 위한 새로운 종합적 분류 체계를 제안하기 위해.
• 방법별 특성 속성을 활용해 최근 기법들의 해석 가능성 품질을 정량적으로 평가하여 종합적 해석 가능성 점수를 도출하기 위해.

제안 방법

• 일반 기계학습 연구에서의 공통된 기계학습 해석 가능성 원칙, 특성, 평가 지표 및 분류 체계를 상세히 비교한다.
• 기존 기계학습 해석 가능성 분류 체계를 적응 및 확장하여 악성코드 탐지 모델에 특화된 도메인 전용 분류 체계를 구축한다.
• 최근 최신 기술의 악성코드 탐지 해석 기법들을 그 기반 메커니즘과 목적에 따라 명확한 카테고리로 분류한다.
• 일관된 특성(예: 충실도, 안정성, 이해 가능성)을 사용해 최고의 기법들의 해석 가능성 품질을 평가하여 정량적 해석 가능성 점수를 산출한다.
• 악성코드 탐지 맥락에서 모델의 투명성 부족, 특성 중요도의 모호성, 대비 공격 예제 등의 과제를 분석한다.
• 최근 문헌의 통합적 분석을 통해 연구자와 실무자들이 해석 가능성 기법을 선택하고 향상시키는 데 실질적인 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 악성코드 탐지 모델의 해석 과정에서 발생하는 주요 과제는 무엇이며, 일반 기계학습 해석 과제와 어떻게 다를까?
• RQ2 기존 기계학습 해석 가능성 분류 체계는 어떻게 적응 및 확장되어 악성코드 탐지 분야의 해석 방법을 효과적으로 분류할 수 있을까?
• RQ3 기계학습 기반 악성코드 탐지기에서 가장 효과적인 해석 기법은 무엇이며, 충실도와 이해 가능성 측면에서 어떻게 비교될 수 있을까?
• RQ4 다양한 방법 간의 해석 가능성은 어떻게 정량적으로 평가되어 객관적인 비교와 선택이 가능하게 할 수 있을까?
• RQ5 악성코드 탐지 시스템 맥락에서 높은 품질의 해석 가능성의 핵심 특성은 무엇인가?

주요 결과

• 제안된 분류 체계는 기계학습 기반 악성코드 탐지 분야의 해석 방법을 체계적으로 분류할 수 있는 도메인 특화된 프레임워크를 제공하여 명확성과 비교 가능성 향상을 이룬다.
• 충실도, 안정성, 특성 중요도 정확도와 같은 해석 가능성 특성은 설명 방법의 신뢰성 평가에 핵심적인 역할을 한다.
• 서베이에서는 많은 기존 해석 방법이 대비 편향에 대해 강건성이 부족함을 확인하였으며, 이는 실세계 적용 시 위험을 초래할 수 있다.
• 방법별 특성 속성을 활용한 정량적 평가는 해석 기법 간의 객관적 비교를 가능하게 하며, 일부 기법은 이해 가능성과 충실도 측면에서 뚜렷이 높은 점수를 기록하였다.
• 최근 연구들 사이에 표준화된 평가 프로토콜의 부재를 확인하였으며, 악성코드 탐지 해석 가능성 분야에서 일관된 벤치마크 필요성을 강조한다.
• 기계학습 기반 악성코드 탐지 파이프라인에 해석 가능성 통합은 여전히 초보 단계이며, 복잡성과 성능 트레이드오프로 인해 실사용 시스템에서의 도입이 제한적이다.