[論文レビュー] MARFCAT: Transitioning to Binary and Larger Data Sets of SATE IV

Serguei A. Mokhov, Joey Paquet+2 more|arXiv (Cornell University)|Jul 16, 2012

Advanced Malware Detection Techniques参考文献 37被引用数 7

ひとこと要約

本稿では、信号処理および自然言語処理（NLP）技術を活用して、複数のプログラミング言語におけるソースコードおよびバイナリコードの脆弱性を検出する機械学習ベースの静的コード解析ツール、MARFCATを提示する。SATE IVデータセットからの大規模な合成および実世界のテストケースにおいて、CWEおよびCVEベースの弱みを高い精度と速度で同定する能力を示し、多様な環境下でも堅牢性とスケーラビリティを示している。

ABSTRACT

We present a second iteration of a machine learning approach to static code analysis and fingerprinting for weaknesses related to security, software engineering, and others using the open-source MARF framework and the MARFCAT application based on it for the NIST's SATE IV static analysis tool exposition workshop's data sets that include additional test cases, including new large synthetic cases. To aid detection of weak or vulnerable code, including source or binary on different platforms the machine learning approach proved to be fast and accurate to for such tasks where other tools are either much slower or have much smaller recall of known vulnerabilities. We use signal and NLP processing techniques in our approach to accomplish the identification and classification tasks. MARFCAT's design from the beginning in 2010 made is independent of the language being analyzed, source code, bytecode, or binary. In this follow up work with explore some preliminary results in this area. We evaluated also additional algorithms that were used to process the data.

研究の動機と目的

• 機械学習を用いて、ソースコードにとどまらずバイナリおよびバイトコード解析を含む、セキュリティ脆弱性の静的コード解析を向上させること。
• 特に既知の脆弱性および合成脆弱性を同定する際、従来のツールと比較して検出精度と速度を向上させること。
• 信号処理（例：ウェーブレット、FFT）およびNLP技術（n-gram、スムージング）が、コードの弱みを分類するためにどの程度有効であるかを評価すること。
• MARFCATフレームワークのスケーラビリティおよび移植性が、異なるプログラミング言語およびコード表現（ソース、バイナリ）にわたってどのように発揮されるかを示すこと。
• ミッションクリティカルなソフトウェアシステムにおける脆弱性検出のための実用的で分散型かつ自動化されたソリューションを提供すること。

提案手法

• MARFフレームワークを用いて、ローパスFFTおよび離散ウェーブレット変換（DWT）などの信号処理技術を用いてコードから特徴量を抽出する。
• n-gramおよびさまざまなスムージングアルゴリズムを含むNLP手法を適用し、コード構造をモデル化し、異常を検出する。
• GIPSYを用いた需要駆動型分散評価アーキテクチャを採用し、大規模なコードベースにおける分析をスケーリングする。
• CVEおよびCWEラベル付きデータ、ならびに合成ケースを用いてトレーニングされた機械学習モデルを用いて脆弱性を分類する。
• コードを信号に類似したデータストリームとして扱うことで、ソースコードおよびコンパイル済みバイナリを一様に処理し、言語に依存しない解析を可能にする。
• トレーサビリティおよびツール統合を可能にするため、フォレンジックで明確なレポート形式で結果をエクスポートし、各脆弱性に対して深刻度およびランクスコアを付与する。

実験結果

リサーチクエスチョン

• RQ1 機械学習に加え信号処理およびNLP処理を組み合わせることで、複数の言語におけるソースおよびバイナリコードの脆弱性を効果的に検出できるか？
• RQ2 MARFCATは、大規模および合成コードベースにおいて、従来の静的解析ツールと比較して、速度、正確性、再現率の観点でどの程度優れているか？
• RQ3 ウェーブレットおよびFFTの前処理技術が、バッファオーバーフローまたは入力検証の欠陥などの特定の脆弱性タイプの検出をどの程度向上させるか？
• RQ4 SATE IVデータセットに含まれるCVE非対応の合成脆弱性に対して、システムの一般化性能はどの程度高いか？
• RQ5 大規模かつ分散型のコード解析タスクに適用した際、MARFCATフレームワークのスケーラビリティおよび堅牢性はどの程度高いか？

主な発見

• MARFCATは、脆弱性検出において高い正確性と再現率を達成した。特に特定のテストケースにおいて、CWE-119（バッファエラー）およびCWE-189（数値エラー）の検出精度が100%であった。
• 大規模な合成ケースにおいても優れた性能を示し、複雑なコードベースを処理する際のスケーラビリティおよび堅牢性を確認した。
• ウェーブレットベースの前処理（SDWT）により、CVE-2009-2562の検出が向上し、スペクトログラム解析により脆弱なバージョンと修正済みバージョンを明確に区別できた。
• NLP技術（スムージング付きn-gram）の統合が信号処理を補完し、入力検証および論理的欠陥の分類精度を向上させた。
• GIPSYを用いた需要駆動型分散評価により、異種環境における効率的でスケーラブルな解析が可能になった。
• MARFCATは、Wireshark 1.2.0において38の異なる弱みを特定し、CWE-119およびCWE-189のような高深刻度の問題を正確にラインレベルで局所化し、深刻度スコアを付与した。