[論文レビュー] Maat: Automatically Analyzing VirusTotal for Accurate Labeling and Effective Malware Detection

Aleieldin Salem, Sebastian Bănescu+1 more|arXiv (Cornell University)|Jul 1, 2020

Advanced Malware Detection Techniques参考文献 35被引用数 7

ひとこと要約

Maatは、VirusTotalスキャンレポートを用いて、手動で設定されたしきい値に基づくアプローチの限界を克服し、安定的で正確なラベル付け戦略を自動的に生成する機械学習ベースの手法を提案する。この手法は、しきい値ベースのラベル付けよりもラベル精度および下流のマルウェア検出モデルの有効性において優れている。

ABSTRACT

The malware analysis and detection research community relies on the online platform VirusTotal to label Android apps based on the scan results of around 60 antiviral scanners. Unfortunately, there are no standards on how to best interpret the scan results acquired from VirusTotal, which leads to the utilization of different threshold-based labeling strategies (e.g., if ten or more scanners deem an app malicious, it is considered malicious). While some of the utilized thresholds may be able to accurately approximate the ground truths of apps, the fact that VirusTotal changes the set and versions of the scanners it uses makes such thresholds unsustainable over time. We implemented a method, Maat, that tackles these issues of standardization and sustainability by automatically generating a Machine Learning (ML)-based labeling scheme, which outperforms threshold-based labeling strategies. Using the VirusTotal scan reports of 53K Android apps that span one year, we evaluated the applicability of Maat's ML-based labeling strategies by comparing their performance against threshold-based strategies. We found that such ML-based strategies (a) can accurately and consistently label apps based on their VirusTotal scan reports, and (b) contribute to training ML-based detection methods that are more effective at classifying out-of-sample apps than their threshold-based counterparts.

研究の動機と目的

• VirusTotalスキャンレポートを用いたAndroidマルウェアのための標準的で持続可能なラベル付け戦略の欠如に対処すること。
• VirusTotalのスキャナーセットやバージョンの変更に起因するしきい値ベースのラベル付けの不安定性を克服すること。
• 研究用データセットに対して信頼性が高く、時間的に一貫性のあるラベル付け戦略を自動生成する手法を開発すること。
• 機械学習ベースのラベル付けが、しきい値ベースの方法と比較して、下流のマルウェア検出モデルの性能を向上させるかどうかを評価すること。
• より効果的なVirusTotalを用いたマルウェア分析のためのスキャナーの正確性と安定性に関する実用的インサイトを提供すること。

提案手法

• 2018年から2019年の13か月間にわたり、約53,000件のAndroidアプリのVirusTotalスキャンレポートを収集・分析する。
• スキャナーアウトプットや集計統計を含む特徴量をスキャンレポートから抽出し、機械学習モデルの学習に用いる。
• スキャナーサインナルに基づいてアプリのラベル（マルウェア／健全）を予測する機械学習モデル（例：ランダムフォレストまたは類似手法）を訓練する。
• 信頼度スコアを用いてラベルの安定性を評価し、時間経過にわたって一貫して信頼できるスキャナーを同定する。
• 性能指標を用いて、機械学習ベースのラベル付け戦略とさまざまなしきい値ベースの戦略（例：≥1、≥2、≥10スキャナー）を比較する。
• アウトオブサンプルのテストセットを用いて、機械学習ベースのラベルが下流の検出モデル（例：Drebin分類器）の訓練に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 VirusTotalがスキャナーセットを動的に変更する場合、しきい値ベースのラベル付け戦略はどのように性能を示すか？
• RQ2 機械学習ベースのラベル付け戦略を自動的に生成することで、しきち値ベースの手法よりも正確で安定したラベルを達成できるか？
• RQ3 VirusTotal上で、異なるデータセットや時間帯において一貫して正確で安定したAndroidマルウェア検出を実行できるスキャナーはどれか？
• RQ4 機械学習で生成されたラベルを用いることで、しきい値ベースのラベルと比較して、下流のマルウェア検出モデルの性能が向上するか？
• RQ5 ラベルの安定性と正確性の相関関係は、VirusTotalスキャンレポートにおいてどの程度顕著か？

主な発見

• Maatの機械学習ベースのラベル付け戦略は、時間経過にわたって一貫した高い正確性を示すが、VirusTotalのスキャナーセットの変更に起因する不安定性により、しきい値ベースの戦略は性能が低下する。
• 機械学習ベースのラベル付け戦略は、全評価期間にわたり、最良のしきい値ベース戦略（例：≥10スキャナー）を上回るラベル精度を達成する。
• すべてのデータセットに共通して正確なスキャナーのセットは存在しない。最適なスキャナーセットは、データセットの構成や時間帯によって変化する。
• BitDefenderや他のスキャナーは、VirusTotalによって効果が低いバージョンに置き換えられることが判明し、Androidマルウェアの検出精度が低下した。
• 大多数のスキャナーは時間経過にわたって安定したラベルを出力するが、ラベルの安定性は正確性を保証しない。一部の安定したスキャナーは正確でないことが判明した。
• Maatが生成したラベルを用いて訓練されたマルウェア検出モデル（例：Drebin分類器）は、しきい値ベースのラベルを用いたモデルと比較して、アウトオブサンプルのマルウェアに対して顕著に高い分類精度を達成した。