[論文レビュー] Rise of the HaCRS: Augmenting Autonomous Cyber Reasoning Systems with Human Assistance

Yan Shoshitaishvili, Michael Weissbacher+5 more|arXiv (Cornell University)|Aug 9, 2017

Advanced Malware Detection Techniques参考文献 17被引用数 6

ひとこと要約

本論文では、ハム・オートメーション・サイバー・リーズニング・システム（HaCRS）を提案する。これは、人間の支援を受けるツール中心のパラダイムであり、非専門家の人的入力を自動化された脆弱性分析に統合することで、記号実行やカバレッジ駆動型ファズィングにおける限界を克服することを目的としている。タスクレットを通じて人間に対して論理理解タスクを外部化することで、システムは55.5％のコードカバレッジ（自動化のみでは12.1％）を達成し、AFLが自動シードで失敗する状況でも脆弱性を引き起こすことが可能になった。

ABSTRACT

As the size and complexity of software systems increase, the number and sophistication of software security flaws increase as well. The analysis of these flaws began as a manual approach, but it soon became apparent that tools were necessary to assist human experts in this task, resulting in a number of techniques and approaches that automated aspects of the vulnerability analysis process. Recently, DARPA carried out the Cyber Grand Challenge, a competition among autonomous vulnerability analysis systems designed to push the tool-assisted human-centered paradigm into the territory of complete automation. However, when the autonomous systems were pitted against human experts it became clear that certain tasks, albeit simple, could not be carried out by an autonomous system, as they require an understanding of the logic of the application under analysis. Based on this observation, we propose a shift in the vulnerability analysis paradigm, from tool-assisted human-centered to human-assisted tool-centered. In this paradigm, the automated system orchestrates the vulnerability analysis process, and leverages humans (with different levels of expertise) to perform well-defined sub-tasks, whose results are integrated in the analysis. As a result, it is possible to scale the analysis to a larger number of programs, and, at the same time, optimize the use of expensive human resources. In this paper, we detail our design for a human-assisted automated vulnerability analysis system, describe its implementation atop an open-sourced autonomous vulnerability analysis system that participated in the Cyber Grand Challenge, and evaluate and discuss the significant improvements that non-expert human assistance can offer to automated analysis approaches.

研究の動機と目的

• 複雑なプログラム論理を処理する際の完全自動化された脆弱性分析システムのスケーラビリティおよび効果性の限界に対処すること。
• 記号実行およびファズィングが、複雑なアプリケーションに対して意味的に有意義な入力を生成できないという問題を克服すること。
• 深くセキュリティの専門知識を要しない非専門家の人的支援が、自動分析の結果を顕著に改善できるかどうかを検討すること。
• 自動分析を調整しつつ、論理依存タスクを動的に人間アナリストにオフロードするハイブリッドシステムアーキテクチャの開発。
• 人間支援入力が、実世界の脆弱性検出シナリオにおいて自動シード生成を上回ることを実証すること。

提案手法

• 非専門家でも利用可能な最小限の分野知識で、特定の明確なサブタスク（例：入力生成）を人間アナリストに委譲できるタスクレットベースのインターフェースを設計する。
• 人間が提供した入力を、特に記号実行およびファズィングワークフローに統合する自動分析パイプラインに統合する。
• 一貫性と再現性を保つために、DARPAサイバー・グランド・チャレンジから公開された自律型システムをコア分析エンジンとして採用する。
• 人間の入力が検証され、再利用され、ファズァーのシード選択を含む下流の分析を改善するフィードバックループを実装する。
• 低レベルのリバースエンジニアリングではなく、プログラム動作の意味的理解（例：メニューナビゲーション、数学的式、意味的ヒント）を中心に人間タスクを構造化する。
• 人間支援分析と完全自動化分析の実行を比較することで、人間の貢献度をコードカバレッジおよび脆弱性検出率の観点から評価する。

実験結果

リサーチクエスチョン

• RQ1 非専門家の人的入力は、自動バイナリ解析におけるコードカバレッジおよび脆弱性検出を顕著に向上させることができるか？
• RQ2 記号実行やカバレッジガイドドファズィングによって生成される入力と比較して、人間が生成した入力は意味的有意義性においてどのように異なるか？
• RQ3 AFLのようなファズァー・ツールにおいて、人間支援入力が自動シードよりも、実際の脆弱性を発見するのにどれほど効果的か？
• RQ4 どのような種類のプログラム動作が人間支援に最も適しており、自動システムにとって最も困難なものは何か？
• RQ5 記号実行の限界を補うために、人的入力は、複雑な制御フローまたはステートフルな相互作用を扱う際にどの程度有効か？

主な発見

• 人間支援分析により、複雑なピザ注文バイナリで55.5％のコードカバレッジを達成した。一方、自動分析のみでは12.1％にとどまった。
• KPRCA_00052の事例では、人間アシスタントが52％のコードカバレッジに到達したが、自動記号実行ではわずか19％にとどまり、ステートフルなメニュー論理の理解が優れていた。
• KPRCA_00043では、人間が入力として「落ち込めるメッセージ」などの意味的ヒントを認識し、バッファオーバーフロー脆弱性を正常にトリガーした。一方、自動シードは無意味な文字列を生成し、フィルタを通過できなかった。
• AFLのシードとして使用された人間生成テストケースは、NRFIN_00055でタイプミスクラッシュを1時間以内に発見したが、自動シードでは同じ時間内にクラッシュを引き起こさなかった。
• 人間の入力は意味的に妥当で文脈に即したもの（例：適切な数学的式）であったが、自動記号シードは意味のない、または破損したパスを多く探索していた。
• 本研究は、セキュリティ訓練がなくても、人間の直感が自動脆弱性分析パイプラインの効果性を顕著に向上させられることを確認した。