[論文レビュー] ALOHA: Auxiliary Loss Optimization for Hypothesis Augmentation

Ethan M. Rudd, Felipe N. Ducau+3 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Malware Detection Techniques参考文献 29被引用数 8

ひとこと要約

本稿では、マルウェア検出性能を向上させるため、脅威インテリジェンスメタデータ（複数ソースのラベル、検出回数、意味的タグなど）から導出された複数の補助損失関数を用いて深層ニューラルネットワークを訓練する、マルチタスク学習フレームワークであるALOHAを提案する。これにより、10^{-5} FPRにおける誤検出率は53.8%低下し、10^{-3} FPRでは42.6%低下した。

ABSTRACT

Malware detection is a popular application of Machine Learning for Information Security (ML-Sec), in which an ML classifier is trained to predict whether a given file is malware or benignware. Parameters of this classifier are typically optimized such that outputs from the model over a set of input samples most closely match the samples' true malicious/benign (1/0) target labels. However, there are often a number of other sources of contextual metadata for each malware sample, beyond an aggregate malicious/benign label, including multiple labeling sources and malware type information (e.g., ransomware, trojan, etc.), which we can feed to the classifier as auxiliary prediction targets. In this work, we fit deep neural networks to multiple additional targets derived from metadata in a threat intelligence feed for Portable Executable (PE) malware and benignware, including a multi-source malicious/benign loss, a count loss on multi-source detections, and a semantic malware attribute tag loss. We find that incorporating multiple auxiliary loss terms yields a marked improvement in performance on the main detection task. We also demonstrate that these gains likely stem from a more informed neural network representation and are not due to a regularization artifact of multi-target learning. Our auxiliary loss architecture yields a significant reduction in detection error rate (false negatives) of 42.6% at a false positive rate (FPR) of $10^{-3}$ when compared to a similar model with only one target, and a decrease of 53.8% at $10^{-5}$ FPR.

研究の動機と目的

• 脅威インテリジェンスフィードから得られる豊富で多様なメタデータ（複数ソースのラベル、検出回数、意味的タグなど）を補助学習ターゲットとして活用することで、マルウェア検出性能を向上させること。
• マルチターゲット学習による性能向上が、より良い表現学習に起因するのか、単に多目的学習による正則化効果に起因するのかを調査すること。
• 訓練中にメタデータが欠損または不完全な場合でも、性能が低下しない、各サンプルに応じた損失重み付け方式を構築すること。
• 異なる補助損失タイプ（バイナリ、ポisson、マルチラベル）が、さまざまな誤検出率閾値における検出性能に与える影響を評価すること。
• 入力特徴空間を変更せず、追加のデータ収集を要せずとも、補助損失最適化がモデルの一般化性能を向上させることを実証すること。

提案手法

• マルウェア検出のメインタスクに加え、複数の補助損失関数を用いて深層ニューラルネットワークを訓練する。具体的には、複数ソースのマルウェア／ノーマルラベルにはバイナリクロスエントロピー損失、検出回数予測にはポisson損失、意味的マルウェア属性タグにはマルチラベルクロスエントロピー損失を適用する。
• ラベルの可用性に応じて損失の寄与度を動的に調整する各サンプル損失重み付け方式を実装し、不完全なメタデータでも効果的な学習が可能となるようにする。
• すべての補助ヘッドに共通の特徴エンコーダーを採用することで、表現の一貫性を確保し、すべての目的関数を統合的に最適化する。
• 受信者操作特性曲線（ROC）と検出誤り率を用い、さまざまな誤検出率閾値（例：10^{-3}、10^{-5}）におけるモデル性能を評価する。
• 各補助損失タイプの寄与度を分離するためのアブレーションスタディを実施し、それらの個別的および複合的影響を評価する。
• 表現の向上と正則化効果のどちらが性能向上の主な要因であるかを区別するためのアブレーションおよび分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 脅威インテリジェンスメタデータから導出された複数の補助損失を組み込むことで、メインタスクのマルウェア検出性能が顕著に向上するか？
• RQ2 性能向上は、ニューラルネットワーク表現の向上に起因するのか、それとも単に多目的学習による正則化効果に起因するのか？
• RQ3 バイナリ、カウント、マルチラベルなど、異なるタイプの補助損失が、さまざまな誤検出率領域における検出性能にどのように影響を与えるか？
• RQ4 補助損失最適化により、誤検出率が低い領域（FPRが低い）における検出性能が向上するか？
• RQ5 欠損または不完全なメタデータが存在する状況でも、提案フレームワークは性能を劣化させずに処理できるか？

主な発見

• すべての補助損失を組み込んだ場合、誤検出率（誤検出率）は、10^{-5} FPRにおける単一タスクベースラインと比較して53.8%低下した。
• 10^{-3} FPRにおける誤検出率は、すべての補助損失を用いた場合に42.6%低下した。
• 低誤検出率領域（≤ 10^{-3}）では、マルチラベルベンダータグおよび意味的属性タグ損失が最も強い影響を及ぼし、特に重要な運用領域での検出性能が向上した。
• 検出回数に対するポisson損失は、AUCの向上に最も寄与し、高誤検出率領域（≥ 10^{-3}）における検出性能を改善した。
• 性能向上は、単にマルチタスク学習による正則化効果ではなく、より情報量が多く一般化されたニューラルネットワーク表現に起因するとされた。
• すべてのFPRレベルで、より低分散のROC曲線を達成しており、より安定的かつ信頼性の高い検出性能であることが示された。