[論文レビュー] Learning Scalable and Precise Representation of Program Semantics

Ke Wang|arXiv (Cornell University)|May 13, 2019

Software Engineering Research参考文献 20被引用数 16

ひとこと要約

DyPro は、ランダムテストからの実行トレースを用いてトレーニングすることで、キーデータ状態を双方向RNNで圧縮し、実行間で一般化することで、正確でスケーラブルなプログラム意味論を学習する深層ニューラルネットワークである。DyPro は、GGNN や TreeLSTM といった静的モデルよりも、意味分類およびループ不変条件検出の両面で優れている。不変条件予測においては 73.9% の正確性を達成しており、これは静的モデルよりも顕著に高い水準であり、深い意味論的性質を捉える優れた能力を示している。

ABSTRACT

Neural program embedding has shown potential in aiding the analysis of large-scale, complicated software. Newly proposed deep neural architectures pride themselves on learning program semantics rather than superficial syntactic features. However, by considering the source code only, the vast majority of neural networks do not capture a deep, precise representation of program semantics. In this paper, we present \dypro, a novel deep neural network that learns from program execution traces. Compared to the prior dynamic models, not only is \dypro capable of generalizing across multiple executions for learning a program's dynamic semantics in its entirety, but \dypro is also more efficient when dealing with programs yielding long execution traces. For evaluation, we task \dypro with semantic classification (i.e. categorizing programs based on their semantics) and compared it against two prominent static models: Gated Graph Neural Network and TreeLSTM. We find that \dypro achieves the highest prediction accuracy among all models. To further reveal the capacity of all aforementioned deep neural architectures, we examine if the models can learn to detect deeper semantic properties of a program. In particular given a task of recognizing loop invariants, we show \dypro beats all static models by a wide margin.

研究の動機と目的

• 静的ニューラルモデルが深いプログラム意味論ではなく、浅い構文的特徴しか捉えられないという限界を解決すること。
• 複数のプログラム実行にわたる一般化を可能にする動的モデルを構築し、包括的なプログラム意味論を学習すること。
• 現実世界のプログラムで一般的な長い実行トレースを効率的かつスケーラブルに処理するための効率性と拡張性を向上させること。
• 深層学習モデルが、構文を超えた正確な意味論的理解を必要とするような、ループ不変条件のような複雑な意味的性質を学習できるかどうかを評価すること。
• 実行ベースの学習が、ソースコードのみに依存するアプローチよりも、より正確で深い意味論的表現を可能にすることを実証すること。

提案手法

• DyPro は、各プログラムに対して複数の実行トレースをランダムテストによって生成し、多様な入力からの学習を可能にする。
• 各実行トレースをスキャンするために双方向RNNを適用し、不要なステップを除外して重要なプログラム状態を保持する。
• 個々の実行埋め込みをプールして、1つのコンactなプログラムレベルの表現に圧縮する。
• ループ不変条件検出のため、DyPro は変数値と不変条件トークンを埋め込み空間に組み込むことで、入力埋め込み空間に統合する。
• プログラムと不変条件の埋め込みを連結した後、分類に使用する共通の予測層を備えた統一アーキテクチャを採用する。
• 訓練にはヒンジ損失を採用しており、すべてのモデルにおいて交差エントロピーを上回る性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 実行トレース上でトレーニングされた深層学習モデルは、静的モデルよりも正確でスケーラブルなプログラム意味論の表現を学習できるか？
• RQ2 同じ構文を持つが意味的に異なるプログラム（例：バブルソート vs. インサーションソート）を区別できるか？
• RQ3 構文を超えたプログラム動作の理解を必要とするような、ループ不変条件のようなより深い意味的性質を検出できるか？
• RQ4 既存の動的モデルと比較して、実行トレース長の増加に伴うスケーリング特性はどうなるか？
• RQ5 実行ベースの学習は、静的モデルが検出できない意味論的不変条件をどの程度捉えることができるか？

主な発見

• DyPro はループ不変条件の分類において 73.9% の正確性を達成しており、GGNN（47.5%）や TreeLSTM（51.8%）を顕著に上回っており、優れた意味論的理解を示している。
• 意味分類において、DyPro は、静的ベースラインと動的モデルを含む、すべてのモデルの中で最高の予測正確性を達成している。
• 実行トレース長が延びるに従って、DyPro は Dynamic State Trace Neural Network（DSTNN）よりも正確性の低下が小さいため、より優れたスケーラビリティを示している。
• 静的モデルは構文的差異があるにもかかわらず、バブルソートとインサーションソートの実装を区別できていないが、DyPro は意味論的な差を的確に捉えている。
• ヒンジ損失の使用はすべてのモデルで性能を向上させるが、共通の最適化を採用しても、DyPro は静的モデルに対して顕著な性能差を維持している。
• DyPro の状態圧縮機構により、意味論的正確性を損なわず、長いトレースの効率的処理が可能となり、スケーラビリティが向上している。