[論文レビュー] Leveraging Uncertainty for Improved Static Malware Detection Under Extreme False Positive Constraints

André T. Nguyen, Edward Raff+2 more|arXiv (Cornell University)|Aug 9, 2021

Advanced Malware Detection Techniques参考文献 43被引用数 9

ひとこと要約

本論文では、アンサンブル法およびベイジアン手法によるモデルの不確実性を活用することで、極めて低い偽陽性率（FPR）制約下での静的マルウェア検出を改善することを提案する。Sophosデータセットにおいて、1e-5のFPRで0.80の真正陽性率（TPR）を達成し、従来手法比で相対的に16%の改善を実現した。修正された評価プロトコルを導入し、不確実性推定がモデル誤りや未知のマルウェアファミリーの検出に役立つことを示した。

ABSTRACT

The detection of malware is a critical task for the protection of computing environments. This task often requires extremely low false positive rates (FPR) of 0.01% or even lower, for which modern machine learning has no readily available tools. We introduce the first broad investigation of the use of uncertainty for malware detection across multiple datasets, models, and feature types. We show how ensembling and Bayesian treatments of machine learning methods for static malware detection allow for improved identification of model errors, uncovering of new malware families, and predictive performance under extreme false positive constraints. In particular, we improve the true positive rate (TPR) at an actual realized FPR of 1e-5 from an expected 0.69 for previous methods to 0.80 on the best performing model class on the Sophos industry scale dataset. We additionally demonstrate how previous works have used an evaluation protocol that can lead to misleading results.

研究の動機と目的

• 生産環境における極めて低い偽陽性率（≤0.01%）を達成するという重要な課題に対処する。現行の機械学習手法では、この分野に有効なツールが不足している。
• 訓練済みモデルの性能を評価する際、検証セットではなくテストセット上で閾値を選択することで、TNR@FPRを誤って推定するという、広く見られる評価プロトコルの欠陥を特定・是正する。
• 不確実性推定を用いて意思決定閾値を動的に調整することで、極めて低いFPR制約下でもモデル性能を向上させる。
• エピステミックおよびアレアトリック不確実性を、分布外のサンプルを示す指標として活用することで、未知のマルウェアファミリーの早期検出を可能にする。

提案手法

• アンサンブル法およびベイジアンニューラルネットワーク技術（例：モンテカルロドロップアウト）を用い、各マルウェアサンプルのエピステミック（モデル）およびアレアトリック（データ）不確実性を推定する。
• テストセットではなく別個の検証セットを用いて、目標とするFPRに対応する最適な分類閾値を決定することで、データ漏洩を回避し、現実的なFPR推定を実現する。
• 不確実性スコアに基づくローカル閾値調整戦略を導入し、不確実性が高いサンプルはより厳密に評価することで、FPRを低く保ちつつTPRを向上させる。
• 公開データセット（EMBER2018、Sophos）上で複数のモデル（例：LightGBM、MalConv、FFNN）を訓練・評価し、不確実性を考慮した推論と閾値設定を実施する。
• 不確実性分布とモデル誤り、およびトレーニング時に見られなかった新しいマルウェアファミリーとの相関関係を分析し、高不確実性が誤予測および分布外サンプルを予測できることを検証する。
• 高FPRをペナルティとして課しつつTPRを最大化する統合スコア指標を提案し、厳密なFPR制約下でのモデル間公平比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 先行研究におけるテストセット上での閾値選択ミスが、報告されたTPR@FPR性能にどのように歪みをもたらすか。正しい評価プロトコルは何か。
• RQ2 アンサンブルおよびベイジアンモデルからの不確実性推定は、極めて低いFPR制約（例：1e-5）下でTPRを顕著に向上させ得るか。
• RQ3 エピステミックおよびアレアトリック不確実性は、トレーニング時に確認されなかったモデル誤りやマルウェアファミリーとどの程度相関するか。
• RQ4 不確実性に基づく閾値設定は、実世界の展開環境において、FPRを低く保ちつつTPRを向上させるために、単純な閾値設定を上回るか。

主な発見

• 従来の評価では、テストセット上で閾値を選択していたため、TPR@FPRの推定が系統的に誤りを含んでおり、相対誤差が少なくとも35%に達する過大評価が生じていた。
• 提案手法である不確実性に基づく閾値設定により、Sophosデータセットの最良パフォーマンスを示したモデルクラスにおいて、実際のFPRが1e-5の条件下で、ベースラインの0.69から0.80にTPRが向上した。
• 中程度の多様性を持つモデルやベイジアンモデルですら、低FPR環境下で顕著なTPR向上を示し、非アンサンブルベースライン比で最大11%の改善が得られた。
• エピステミックおよびアレアトリック不確実性スコアは、モデル誤りと強く相関しており、分析者が高不確実性のサンプルを手動レビューの優先対象とすることを可能にした。
• 不確実性分布は、既知のマルウェアファミリーと未知のファミリーを明確に区別した。未確認のファミリーに属するサンプルは顕著に高い不確実性を示し、新規脅威の早期検出が可能となった。
• ベイジアンMalConvおよびLightGBMモデルでは、高不確実性と未知マルウェアの間の強い相関が確認されたが、ベイジアンロジスティック回帰のような単純なモデルでは同様の相関が見られず、モデルの複雑さが不確実性の表現力に影響を与えることが示された。