[論文レビュー] Transcending Transcend: Revisiting Malware Classification with Conformal Evaluation.

Federico Barbero, Feargus Pendlebury+2 more|arXiv (Cornell University)|Oct 8, 2020

Advanced Malware Detection Techniques被引用数 6

ひとこと要約

本論文は、拒否機能を備えたコンフォーマル予測に基づくマルウェア分類フレームワーク「Transcend」を再検討し、その理論的基盤を明確化するとともに、性能を維持または上回りながら計算コストを削減する2つの改善済み評価器を導入する。偏りの少ないデータセットを用いた評価により、実世界のマルウェア検出において実用的で導入可能な設定を提供し、オープンソースでリリースされる。

ABSTRACT

Machine learning for malware classification shows encouraging results, but real deployments suffer from performance degradation as malware authors adapt their techniques to evade detection. This phenomenon, known as concept drift, occurs as new malware examples evolve and become less and less like the original training examples. One promising method to cope with concept drift is classification with rejection in which examples that are likely to be misclassified are instead quarantined until they can be expertly analyzed. We revisit Transcend, a recently proposed framework for performing rejection based on conformal prediction theory. In particular, we provide a formal treatment of Transcend, enabling us to refine conformal evaluation theory---its underlying statistical engine---and gain a better understanding of the theoretical reasons for its effectiveness. In the process, we develop two additional conformal evaluators that match or surpass the performance of the original while significantly decreasing the computational overhead. We evaluate our extension on a large dataset that removes sources of experimental bias present in the original evaluation. Finally, to aid practitioners, we determine the optimal operational settings for a Transcend deployment and show how it can be applied to many popular learning algorithms. These insights support both old and new empirical findings, making Transcend a sound and practical solution for the first time. To this end, we release our implementation of Transcend as open source, to aid the adoption of rejection strategies by the security community.

研究の動機と目的

• コンフォーマル予測に基づくマルウェア分類システムに拒否機能を備えた「Transcend」の理論的基盤を形式的に分析・精錬すること。
• 性能を維持または上回りながら計算オーバーヘッドを削減する、改善されたコンフォーマル評価器の開発。
• 大規模で偏りの少ないデータセットを用いて、強化されたフレームワークの実証的信頼性を確認すること。
• 実世界のセキュリティシステムに「Transcend」を導入するための最適な運用設定を同定すること。
• セキュリティコミュニティが広く採用できるよう、実装をオープンソースでリリースすること。

提案手法

• Transcendの背後にあるコンフォーマル評価理論を形式化し、その統計的根拠を明確にし、理論的堅牢性を向上させること。
• 効率性と正確性を最適化する2つの新しいコンフォーマル評価器を設計し、性能に影響を与えることなく計算コストを削減すること。
• 複数の一般的な機械学習アルゴリズムに強化されたフレームワークを適用することで、広範な互換性と実用的導入を確保すること。
• 一般的な実験的バイアスを排除した、大規模で丁寧に選別されたデータセットを用いて、公平で信頼性の高い評価を実施すること。
• 運用環境における検出精度と拒否率のバランスを取るために、拒否しきい値と信頼水準をキャリブレーションすること。
• 完全な実装をオープンソースとしてリリースし、コミュニティによる採用とさらなる研究を支援すること。

実験結果

リサーチクエスチョン

• RQ1 元々のTranscendフレームワークの理論的限界は何か？ そして、コンフォーマル予測理論を形式的に精錬することで、それらの限界をどのように是正できるか？
• RQ2 性能を維持または上回りながら、計算オーバーヘッドを顕著に削減できる新しいコンフォーマル評価器を設計できるか？
• RQ3 一般的な実験的バイアスが存在しないデータセット上で、強化されたフレームワークの性能はどの程度か？
• RQ4 実世界のマルウェア検出システムにTranscendを導入する際の最適な運用パrameterは何か？
• RQ5 マルウェア分類に用いられる多様な機械学習モデルに、このフレームワークはどの程度一般化可能か？

主な発見

• Transcendのコンフォーマル評価理論に対する形式的取り扱いにより、マルウェア分類におけるコンセプトドリフトに対する耐性に関するより深い洞察が得られた。
• 新たに開発された2つのコンフォーマル評価器は、元のTranscendフレームワークと同等またはそれ以上の性能を達成しながら、計算コストを削減した。
• バイアスの少ないデータセットを用いた評価により、多様なマルウェアファミリーにわたるフレームワークの信頼性と一般化能力が確認された。
• 実用的な生産システムへの統合を可能にするために、Transcendの導入に最適な運用設定（信頼水準しきい値と拒否率など）が同定された。
• このフレームワークは、複数の一般的な機械学習アルゴリズムと互換性があり、その多様性と実世界への適用可能性が向上した。
• 実装のオープンソースリリースにより、セキュリティコミュニティにおける拒否ベース戦略の採用が加速すると予想される。