[論文レビュー] TESSERACT: Eliminating Experimental Bias in Malware Classification across Space and Time

Feargus Pendlebury, Fabio Pierazzi+3 more|arXiv (Cornell University)|Jul 20, 2018

Advanced Malware Detection Techniques被引用数 140

ひとこと要約

この論文は Android マルウェア評価における空間的・時間的偏りを特定し、制約と新しい頑健性指標（AUT）を提案し、空間-時間認識のマルウェア分類器評価をバイアスなしに実現するオープンフレームワークである Tesseract を提示する。

ABSTRACT

Is Android malware classification a solved problem? Published F1 scores of up to 0.99 appear to leave very little room for improvement. In this paper, we argue that results are commonly inflated due to two pervasive sources of experimental bias: "spatial bias" caused by distributions of training and testing data that are not representative of a real-world deployment; and "temporal bias" caused by incorrect time splits of training and testing sets, leading to impossible configurations. We propose a set of space and time constraints for experiment design that eliminates both sources of bias. We introduce a new metric that summarizes the expected robustness of a classifier in a real-world setting, and we present an algorithm to tune its performance. Finally, we demonstrate how this allows us to evaluate mitigation strategies for time decay such as active learning. We have implemented our solutions in TESSERACT, an open source evaluation framework for comparing malware classifiers in a realistic setting. We used TESSERACT to evaluate three Android malware classifiers from the literature on a dataset of 129K applications spanning over three years. Our evaluation confirms that earlier published results are biased, while also revealing counter-intuitive performance and showing that appropriate tuning can lead to significant improvements.

研究の動機と目的

• 空間的および時間的バイアスが Android マルウェア分類評価を歪める方法を特定する。
• 実験設定のバイアスを排除する厳密な空間-時間評価フレームワークを提案する。
• 時間の減衰に対する頑健性を定量化する新しい指標（AUT）を導入する。
• 研究間で公正かつ再現可能な評価を可能にするオープンソースツールキット（Tesseract）を提供する。

提案手法

• バイアスを定量化するため、2つの代表的な Android マルウェア分類器を分析する（Alg1: バイナリ特徴量に対する線形 SVM、Alg2: マルコフ連鎖特徴量に対するランダムフォレスト）。
• 現実のデプロイを模倣するため、トレーニング／テスト分割に対する空間-時間制約を定義し適用する。
• 時間減衰に対する頑健性指標である AUT を導入し、時間にわたる分類器の性能を要約する。
• マルウェアがマイノリティクラスとなる場合に、制約下で性能を最適化するチューニングアルゴリズムを開発する。
• 再現性が高くバイアスのない評価を促進するために Tesseract を実装・公開する。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的バイアスは報告される Android マルウェア分類器の性能にどう影響するか？
• RQ2 空間-時間制約と新しい指標は時間をまたいだより現実的で頑健な評価を生み出すか？
• RQ3 バイアスの除去は大規模な Android データセット上で既存の分類器（Alg1、Alg2、DL）の比較性能をどう変えるか？
• RQ4 時間の減衰とクラス不均衡が分類器の有効性に与える影響は何か、また緩和戦略をどのように評価できるか？

主な発見

• バイアスは、典型的な Android マルウェア分類器にとって実務上の現実的な性能を最大で50%低下させる可能性がある。
• 現実的な空間-時間評価設定は、従来のベンチマークでは見られない直感に反する結果を明らかにする。
• 時間認識指標（AUT）は、時間の減衰に対する頑健性を、公正な比較のために1つの数値で捉える。
• 空間-時間制約とチューニングによるバイアスの除去は、分類器の有効性の見かけ上の評価を大きく変える可能性がある。
• Tesseract は、バイアスのない条件下でアクティブラーニングなどの緩和戦略の評価を可能にする。