[論文レビュー] End-to-End Prediction of Buffer Overruns from Raw Source Code via Neural Memory Networks

Minje Choi, Sehun Jeong+2 more|arXiv (Cornell University)|Mar 7, 2017

Software Engineering Research参考文献 18被引用数 13

ひとこと要約

この論文は、手動で特徴を設計する必要もなく、言語固有の規則を用いずに、生のソースコードから直接バッファオーバーフローを検出するためにメモリネットワークを用いたエンド・ツー・エンドのディープラーニング手法を提案する。モデルは複数のホップにわたって関連するコード行に注目することで、変数の値の追跡、数値比較、コードの意味的構造の推論を学習し、多様なコードパターンにおいて高い精度でバッファオーバーフローの脆弱性を検出する。

ABSTRACT

Detecting buffer overruns from a source code is one of the most common and yet challenging tasks in program analysis. Current approaches have mainly relied on rigid rules and handcrafted features devised by a few experts, limiting themselves in terms of flexible applicability and robustness due to diverse bug patterns and characteristics existing in sophisticated real-world software programs. In this paper, we propose a novel, data-driven approach that is completely end-to-end without requiring any hand-crafted features, thus free from any program language-specific structural limitations. In particular, our approach leverages a recently proposed neural network model called memory networks that have shown the state-of-the-art performances mainly in question-answering tasks. Our experimental results using source codes demonstrate that our proposed model is capable of accurately detecting simple buffer overruns. We also present in-depth analyses on how a memory network can learn to understand the semantics in programming languages solely from raw source codes, such as tracing variables of interest, identifying numerical values, and performing their quantitative comparisons.

研究の動機と目的

• 手動で特徴を設計する必要もなく、言語固有の規則に依存しないデータ駆動型のエンド・ツー・エンド手法を用いて、ソースコードにおけるバッファオーバーフローの検出を実現すること。
• 従来の静的解析や標準的なディープラーニングモデル（例：RNN、LSTM）が、コード行をまたがるデータフローと値の追跡を捉えることのできない限界を克服すること。
• メモリネットワークが、数値や比較に関する明示的な教師信号を得ることなく、生のコードから純粋に数値的概念と定量的比較を学習できるかを検証すること。
• メモリネットワークが、バッファサイズの比較といった論理的推論を効果的に行い、バッファオーバーフローの安全性を判断できることを実証すること。

提案手法

• モデルは外部メモリスロットを用いて、ソースコードの異なる行からの情報を格納・取得するメモリネットワークアーキテクチャを採用する。
• 複数のホップにわたって関連するメモリスロットを選択する注目メカニズムを適用し、コードセグメントに対して段階的な推論を可能にする。
• モデルは生のソースコードをトークンのシーケンスとして処理し、事前定義された言語的・構文的特徴を用いずに、エンド・ツー・エンドで単語埋め込みを学習する。
• 数値は学習過程で暗黙的に学習され、数値の単語埋め込みはベクトル空間内で構造的で順序のある表現を形成する。
• モデルは、さまざまなバッファオーバーフローのパターンを含む、合成的に生成されたC言語に類似したソースコードのデータセットで学習される。
• 予測は、割り当てから得られる宛先バッファのサイズと、strcpyや類似の操作から得られる送信元バッファのサイズを比較することで行われる。

実験結果

リサーチクエスチョン

• RQ1 メモリネットワークモデルは、手動で特徴を設計する必要もなく、言語固有の規則を用いずに、生のソースコードにおけるバッファオーバーフローを検出できるか？
• RQ2 モデルはエンド・ツー・エンドの学習によって、数値の比較を実行し、コード行をまたがる変数の値を追跡できるか？
• RQ3 モデルの注目メカニズムは、複数のホップにわたって関連するコードセグメント（例：バッファの割り当て）を効果的に特定・取得できるか？
• RQ4 トレーニング過程で数値の単語埋め込みはどのように変化するか？また、それらは意味的な数値的関係を反映しているか？

主な発見

• メモリネットワークモデルは、すべての難易度レベルにおいて、標準的なRNNおよびLSTMベースラインを上回る優れた性能を達成した。
• t-SNE可視化とコサイン類似度のパターンから、モデルが明確な順序を持つ順序的表現を用いて数値を単語埋め込みとして学習していることが示された。
• 注目メカニズムにより、モデルはコード行をまたがって変数の使用を追跡できた：まず宛先バッファを特定し、次に送信元バッファを特定し、最後にそれらのサイズを比較した。
• 明示的な数値や比較に関する教師信号を得ることなく、モデルはバッファサイズ間の定量的比較を効果的に行えるようになった。
• t-SNE可視化におけるクラスタリングパターンの違いから、変数（例：バッファや整数）の単語埋め込みは、その意味的役割に応じて異なる方法で学習されたことが裏付けられた。
• モデルの予測の信頼度は、注目パスの正しさと相関しており、複数のホップにわたる信頼できる推論が可能であることが示された。