[論文レビュー] Automatic feature learning for vulnerability prediction

Hoa Khanh Dam, Truyen Tran+4 more|arXiv (Cornell University)|Aug 8, 2017

Software Engineering Research参考文献 27被引用数 90

ひとこと要約

本論文は、長短期記憶（LSTM）を用いてコードから意味論的および統語的特徴を自動的に学習し、ソフトウェアの脆弱性を予測する深層学習アプローチを提案し、最先端モデルと比べて競争力のある、またはそれを上回る結果を達成します。

ABSTRACT

Code flaws or vulnerabilities are prevalent in software systems and can potentially cause a variety of problems including deadlock, information loss, or system failure. A variety of approaches have been developed to try and detect the most likely locations of such code vulnerabilities in large code bases. Most of them rely on manually designing features (e.g. complexity metrics or frequencies of code tokens) that represent the characteristics of the code. However, all suffer from challenges in sufficiently capturing both semantic and syntactic representation of source code, an important capability for building accurate prediction models. In this paper, we describe a new approach, built upon the powerful deep learning Long Short Term Memory model, to automatically learn both semantic and syntactic features in code. Our evaluation on 18 Android applications demonstrates that the prediction power obtained from our learned features is equal or even superior to what is achieved by state of the art vulnerability prediction models: 3%--58% improvement for within-project prediction and 85% for cross-project prediction.

研究の動機と目的

• 脆弱性予測を高価値な早期セキュリティタスクとして動機づける。
• コードから直接表現を学習して手動で設計された特徴の限界を克服する。
• セマンティック情報と統語情報の両方を捉え、同一プロジェクト内および跨プロジェクトの予測を改善する。

提案手法

• 各Javaファイルをヘッダーとメソッドとして表現し、メソッドごとにトークン列へ解析する。
• トークン埋め込みと動的トークン状態を学習するためにLSTMを訓練し、メソッドベクトルを形成する。
• メソッドベクトルをプーリングしてファイルの統語特徴を取得し、プロジェクト間でトークン状態をクラスタリングして意味論的コードブックを構築する。
• コードブックのクラスタリングと意味論的プーリングを通じて意味論的特徴を生成し、跨プロジェクトの一般化を可能にする。
• 学習した特徴に基づいて脆弱性分類器（Random Forest）を訓練し、ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1：LSTMによる自動学習特徴は、同一プロジェクト内の脆弱性予測に有効であるか？
• RQ2 RQ2：同じアプリケーション内での跨バージョン脆弱性予測において、提案手法はどの程度機能するか？
• RQ3 RQ3：異なるアプリケーション間での跨プロジェクト脆弱性予測に対して有効か？
• RQ4 RQ4：提案手法はソフトウェアメトリクス、Bag-of-Words、Deep Belief Networkのベースラインとどのように比較されるか？

主な発見

• 同一プロジェクト内の結果は、複数のアプリにわたりベンチマークと比較して競争力がある、またはそれを上回る性能を示す。
• 統語的特徴と意味論的特徴を結合して高い適合率と再現率を達成する。
• コードブッククラスタリングによる意味論的特徴は跨プロジェクトの一般化を向上させる。
• 跨プロジェクト設定で一部のベースラインより大幅な改善を報告しており（例：跨プロジェクト予測で最大85%）
• 実験は18個のAndroidアプリを用い、同一プロジェクト内評価のために10-foldクロスバリデーションを実施。