[論文レビュー] Survey of Automated Vulnerability Detection and Exploit Generation Techniques in Cyber Reasoning Systems

Teresa Nicole Brooks|arXiv (Cornell University)|Feb 20, 2017

Advanced Malware Detection Techniques参考文献 13被引用数 12

ひとこと要約

この論文は、サイバー推論システムにおける自動脆弱性検出およびエクスプロイト生成技術を調査し、Mayhem および Mechanical Phish のような Cyber Grand Challenge (CGC) の優勝エントリに焦点を当てる。今後の研究として、探索空間を縮小するためのバイナリ事前処理、CVE駆動型の知識ベースシステムによるエクスプロイト生成、およびバイナリコードにおける脆弱性発見のためのディープ強化学習を提案する。

ABSTRACT

Software is everywhere, from mission critical systems such as industrial power stations, pacemakers and even household appliances. This growing dependence on technology and the increasing complexity software has serious security implications as it means we are potentially surrounded by software that contain exploitable vulnerabilities. These challenges have made binary analysis an important area of research in computer science and has emphasized the need for building automated analysis systems that can operate at scale, speed and efficacy; all while performing with the skill of a human expert. Though great progress has been made in this area of research, there remains limitations and open challenges to be addressed. Recognizing this need, DARPA sponsored the Cyber Grand Challenge (CGC), a competition to showcase the current state of the art in systems that perform; automated vulnerability detection, exploit generation and software patching. This paper is a survey of the vulnerability detection and exploit generation techniques, underlying technologies and related works of two of the winning systems Mayhem and Mechanical Phish.

研究の動機と目的

• DARPA Cyber Grand Challenge における上位のサイバー推論システムの攻撃的機能およびその背後技術を分析・要約すること。
• 特に大規模なアプリケーションにおけるスケーラビリティおよび探索空間の複雑さに起因する、現在の自動バイナリ解析システムの限界を特定すること。
• 人間の干渉なしに自動的にバイナリソフトウェアにおける脆弱性検出およびエクスプロイト生成を改善するための新規研究分野を提案すること。
• バイナリ解析における標準化されたベンチマークの欠如を解消するため、CGCの共通プラットフォームおよびデータセット（DECREE OS、チャレンジバイナリ）を活用すること。
• CVEレポートから得られる知識ベースおよび強化学習のアプローチを用いて、最新の解析ツールから学習し、エクスプロイトを生成することの可能性を検討すること。

提案手法

• 動的シンボリック実行、ファジング、制約解決を用いた脆弱性検出に焦点を当て、CGCで優勝した2つのシステム（Mayhem および Mechanical Phish）を分析する。
• 脆弱性が存在する可能性の高い領域（「ホットスポット」）を特定するためのバイナリ事前処理技術を提案し、解析のための探索空間を縮小する。
• CVEレポートからエクスプロイトパターンを学習する知識ベースシステムを導入し、ソースコードやバイナリコードにアクセスせずに汎用的なテストケース（エクスプロイト）を生成する。
• 従来のバイナリ解析とディープ強化学習を統合し、AIエージェントがバイナリコードとの相互作用を通じて脆弱性を自動で発見するように訓練する。
• パス制約および事前制約付きトレースを用いて、シンボリック実行を関連するコードパスに導くことで、効率性とカバレッジを向上させる。
• CGCの標準化された環境（DECREE OS、チャレンジバイナリ、POVテスト）を、新しい解析技術の評価のためのベンチマークとして活用する。

実験結果

リサーチクエスチョン

• RQ1 自動サイバー推論システムは、人間の干渉なしに、バイナリソフトウェアにおける脆弱性を効果的に検出し、利用できるか？
• RQ2 Mayhem や Mechanical Phish のようなシステムが、高いパフォーマンスで脆弱性検出およびエクスプロイト生成を実現するための、主な技術的構成要素およびアーキテクチャパターンは何か？
• RQ3 バイナリ事前処理技術は、大規模で複雑なアプリケーションにおける脆弱性検出のための探索空間をどの程度縮小できるか？
• RQ4 ソースコードやバイナリコードにアクセスしない状態で、知識ベースシステムが有効なエクスプロイトを生成できるか？
• RQ5 ディープ強化学習を用いて、AIエージェントがバイナリコードにおける脆弱性を自律的に発見するのにどの程度活用できるか？

主な発見

• CGC コンペティションは、DECREE OS およびチャレンジバイナリを含む、公平でプラットフォームに依存しない評価を可能にする標準化されたベンチマークプラットフォームを確立した。
• Mayhem および Mechanical Phish は、動的シンボリック実行および高度なファジング技術を用いて、自動脆弱性検出およびエクスプロイト生成において高いパフォーマンスを達成した。
• スコアリングシステムは、単なる脆弱性数の多さよりも、バイナリパッチの品質および機能的正しさを重視しており、単なる検出ではなく、強固で安全なパッチ生成を促進する。
• 現在のシステムは、膨大な探索空間と高い計算コストに起因し、大規模で複雑な実世界のバイナリを解析する際、スケーラビリティに制限を受ける。
• バイナリ内の「ホットスポット」を特定する事前処理により、解析ツールが高リスク領域に焦点を当て、解析の範囲を絞り、効率性を向上させることができる。
• 今後のシステムは、CVEレポートおよび機械学習を活用して汎用エクスプロイトを生成することで、リバースエンジニアリングやソースコードへの依存を減らすことができる。