[論文レビュー] Towards interpreting ML-based automated malware detection models: a survey

Yuzhou Lin, Xiaolin Chang|arXiv (Cornell University)|Jan 15, 2021

Advanced Malware Detection Techniques参考文献 96被引用数 5

ひとこと要約

本調査は、機械学習ベースのマルウェア検出モデルの解釈性を体系的かつ包括的に分類・評価するための分類体系と評価フレームワークを提案する。この研究は、これらのシステムのブラックボックス性に対処し、マルウェア検出における解釈性手法を分析し、既存の機械学習の解釈性分類体系に基づいて新たな分類体系を提唱するとともに、解釈性の質を評価するための手法固有の属性を用いて最先端のアプローチを定量的に評価する。

ABSTRACT

Malware is being increasingly threatening and malware detectors based on traditional signature-based analysis are no longer suitable for current malware detection. Recently, the models based on machine learning (ML) are developed for predicting unknown malware variants and saving human strength. However, most of the existing ML models are black-box, which made their pre-diction results undependable, and therefore need further interpretation in order to be effectively deployed in the wild. This paper aims to examine and categorize the existing researches on ML-based malware detector interpretability. We first give a detailed comparison over the previous work on common ML model inter-pretability in groups after introducing the principles, attributes, evaluation indi-cators and taxonomy of common ML interpretability. Then we investigate the interpretation methods towards malware detection, by addressing the importance of interpreting malware detectors, challenges faced by this field, solutions for migitating these challenges, and a new taxonomy for classifying all the state-of-the-art malware detection interpretability work in recent years. The highlight of our survey is providing a new taxonomy towards malware detection interpreta-tion methods based on the common taxonomy summarized by previous re-searches in the common field. In addition, we are the first to evaluate the state-of-the-art approaches by interpretation method attributes to generate the final score so as to give insight to quantifying the interpretability. By concluding the results of the recent researches, we hope our work can provide suggestions for researchers who are interested in the interpretability on ML-based malware de-tection models.

研究の動機と目的

• 機械学習ベースのマルウェア検出モデルにおける解釈性の欠如が、信頼性や実世界への導入を妨えているのを是正する。
• 機械学習ベースのマルウェア検出システムにおける解釈性に関する既存研究を分類・分析する。
• モデルの複雑さや敵対的耐性といった、これらのモデルを解釈する際の主な課題を特定する。
• 最新の解釈手法を分類するための、体系的かつ包括的な新規分類体系を提唱する。
• 手法固有の属性を用いて解釈性を定量的に評価し、最終的な解釈性スコアを生成する。

提案手法

• 一般の機械学習研究から得られる一般的な機械学習解釈性の原則、属性、評価指標、分類体系を詳細に比較する。
• 既存の機械学習解釈性分類体系を適合・拡張し、マルウェア検出モデルに特化した新しい分野特化型分類体系を構築する。
• マルウェア検出における最新の最先端の解釈手法を、その背後にあるメカニズムと目的に基づいて明確なカテゴリに分類する。
• 一貫性のある属性（例：忠実度、安定性、理解可能性）を用いて、優れたアプローチの解釈性を評価し、定量的な解釈性スコアを生成する。
• マルウェア検出の文脈において、モデルの不透明性、特徴量の重要度の曖昧さ、敵対的例といった課題を分析する。
• 最近の文献からの知見を統合し、研究者および実務家が解釈性手法を選定・改善するための実用的インサイトを提供する。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースのマルウェア検出モデルの解釈において、一般的な機械学習の解釈性課題とはどのように異なるか？
• RQ2 既存の機械学習解釈性分類体系をどのように適合・拡張すれば、マルウェア検出における解釈手法を効果的に分類できるか？
• RQ3 機械学習ベースのマルウェア検出器において、最も効果的な解釈手法は何か？また、忠実度と理解可能性の観点から、それらの手法はどのように比較できるか？
• RQ4 異なる手法間で解釈性をどのように定量的に評価すれば、客観的な比較と選定が可能になるか？
• RQ5 マルウェア検出システムの文脈において、高品質な解釈性を定義づける重要な属性は何か？

主な発見

• 提唱された分類体系は、機械学習ベースのマルウェア検出における解釈手法を体系的に分類するための構造的かつ分野特化型のフレームワークを提供し、明確性と比較可能性を向上させる。
• 忠実度、安定性、特徴量の重要度の正確さといった解釈性属性は、説明手法の信頼性を評価する上で極めて重要である。
• 本調査では、多くの既存の解釈手法が敵対的摂動に対して頑健でないことが判明し、実世界への導入にリスクを伴う可能性がある。
• 手法固有の属性を用いた定量的評価により、解釈性手法の客観的比較が可能となり、一部の手法は理解可能性および忠実度の両面で顕著に高いスコアを記録している。
• 最近の研究において標準化された評価プロトコルの欠如が判明し、マルウェア検出における解釈性評価のための一貫性のあるベンチマークの必要性が浮き彫りになった。
• 解釈性のマルウェア検出パイプラインへの統合はまだ初期段階にあり、複雑さとパフォーマンスのトレードオフのため、実際のシステムへの採用は限定的である。