[論文レビュー] Static Malware Detection & Subterfuge: Quantifying the Robustness of Machine Learning and Current Anti-Virus

William Fleshman, Edward Raff+3 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Malware Detection Techniques参考文献 9被引用数 7

ひとこと要約

本稿では、静的マルウェア検出器に対する回避攻撃に対する機械学習（ML）および従来のウイルス対策（AV）システムの頑健性を定量的に評価するための、画期的なブラックボックス敵対的テスト手法を提案する。非破壊的バイナリ修正、パッケージング、オブスクリュエーション、コードインジェクションを適用することで、著者らは、MLベースのモデル（n-gramおよびMalConv）が、バイナリ全体に散らばった特徴を一般化して処理できるため、AV製品よりも著しく頑健であるが、洗練されたオブスクリュエーションおよび新しい攻撃タイプには依然として脆弱であることを示している。

ABSTRACT

As machine-learning (ML) based systems for malware detection become more prevalent, it becomes necessary to quantify the benefits compared to the more traditional anti-virus (AV) systems widely used today. It is not practical to build an agreed upon test set to benchmark malware detection systems on pure classification performance. Instead we tackle the problem by creating a new testing methodology, where we evaluate the change in performance on a set of known benign & malicious files as adversarial modifications are performed. The change in performance combined with the evasion techniques then quantifies a system's robustness against that approach. Through these experiments we are able to show in a quantifiable way how purely ML based systems can be more robust than AV products at detecting malware that attempts evasion through modification, but may be slower to adapt in the face of significantly novel attacks.

研究の動機と目的

• マルウェア検出システムを比較するための標準化されたベンチマークの欠如に応えるために、新しい評価手法を提案すること。
• 既知の回避技術に対して、MLベースのマルウェア検出器と商用AV製品の頑健性を定量的に評価すること。
• マルウェアバイナリに対する敵対的変更に直面した際、MLモデルがシグネチャベースのAVシステムよりも一般化能力に優れているかどうかを調査すること。
• 現在の回避技術の限界を調査し、MLモデルが新しいまたは変換済みマルウェアを検出する際の一般化能力を評価すること。

提案手法

• Biggioらの敵対者モデルに基づくブラックボックス敵対的テストフレームワークを構築し、目的、知識、能力を定義する。
• 4つの回避技術を適用：非破壊的バイナリ修正、敵対的オクルージョン（ランダムバイトマスク）、UPXを用いたパッケージング、ROPインジェクション。
• 2つのMLモデルを用いる：シンプルなn-gramモデルと、生バイトシーケンス上で学習されたディープラーニングモデル（MalConv）。
• テストプロトコルを採用し、敵対的変更の前後で、既知の良性および悪性ファイルに対してモデルを評価し、性能低下を測定する。
• 各回避技術における性能低下を測定することで、MLモデルとAV製品の頑健性を、複数の攻撃タイプにわたって比較する。
• バイトレベルのオクルージョンを用いて特徴の重要度を調査し、MLモデルがなぜより頑健であるかを解明する。その理由は、バイナリ全体に散らばった特徴の使用に起因するとされる。

実験結果

リサーチクエスチョン

• RQ1 MLベースのマルウェア検出器は、商用AV製品と比較して、非破壊的バイナリ修正に対してどの程度耐性を示すか？
• RQ2 敵対的オクルージョン攻撃は、MLモデルとAVシステムの間での特徴依存の違いをどの程度明らかにするか？
• RQ3 パッケージングおよびコードインジェクション技術（例：ROPインジェクション）は、MLベースおよびAVベースの検出器を効果的に回避できるか？また、両者の性能を比較するとどうなるか？
• RQ4 MLモデルの頑健性は、オクルージョンテストによって示唆されるように、バイナリ全体に散らばった特徴の使用に起因しているか？
• RQ5 頑健性を評価するために用いられる回避技術は、マルウェア検出のトレーニングにおけるデータ拡張に再利用可能か？

主な発見

• 非破壊的バイナリ修正に対してMLベースのモデル（n-gramおよびMalConv）は、商用AV製品よりも顕著に頑健であり、性能低下が最小限に抑えられた。
• 敵対的オクルージョンテストにより、MLモデルはバイナリ全体に散らばった特徴に依存していることが明らかになった。これにより、局所的な変更に対してAVと比較して脆弱性が低くなる。一方、AVは特定の局所的シグネチャに依存しているため、局所的変更に対してより脆弱である。
• 商用AV製品は、数バイトの変更やランダム関数のインポートといった簡単な修正によって容易に回避可能であり、意思決定境界が脆いことが示された。
• UPXによるパッケージングとROPインジェクションは、すべてのシステムに対して持続的な挑戦をもたらしたが、MLモデルはAVよりもより高い耐性を示した。特に、インジェクションされた悪意あるコードの検出において顕著な優位性を示した。
• 本研究では、敵対的例（例：ROPインジェクション済みバイナリ）を用いたトレーニングは、特定の攻撃に対しては検出性能を向上させることができると判明したが、真に新しいマルウェアバージョンへの一般化能力が損なわれる可能性があることが分かった。
• 提案されたブラックボックス敵対的テストフレームワークはドメインに依存せず、他のファイル形式（例：PDF）やオペレーティングシステム（例：Linux、iOS）に対しても適応可能であり、静的解析システムの広範な評価を可能にする。