[論文レビュー] Neural Code Comprehension: A Learnable Representation of Code Semantics

Tal Ben‐Nun, Alice Shoshana Jakobovits+1 more|arXiv (Cornell University)|Jun 19, 2018

Software Engineering Research被引用数 89

ひとこと要約

本論文は、データと制御フローを組み合わせる文脈フローグラフ（XFGs）を用いた LLVM IR 命令の学習可能埋め込み空間 inst2vec を導入します。これにより、過度なファインチューニングを要せず、言語を跨ぐコード意味理解が可能になります。

ABSTRACT

With the recent success of embeddings in natural language processing, research has been conducted into applying similar methods to code analysis. Most works attempt to process the code directly or use a syntactic tree representation, treating it like sentences written in a natural language. However, none of the existing methods are sufficient to comprehend program semantics robustly, due to structural features such as function calls, branching, and interchangeable order of statements. In this paper, we propose a novel processing technique to learn code semantics, and apply it to a variety of program analysis tasks. In particular, we stipulate that a robust distributional hypothesis of code applies to both human- and machine-generated programs. Following this hypothesis, we define an embedding space, inst2vec, based on an Intermediate Representation (IR) of the code that is independent of the source programming language. We provide a novel definition of contextual flow for this IR, leveraging both the underlying data- and control-flow of the program. We then analyze the embeddings qualitatively using analogies and clustering, and evaluate the learned representation on three different high-level tasks. We show that even without fine-tuning, a single RNN architecture and fixed inst2vec embeddings outperform specialized approaches for performance prediction (compute device mapping, optimal thread coarsening); and algorithm classification from raw code (104 classes), where we set a new state-of-the-art.

研究の動機と目的

• LLVM IR を用いた言語に依存しない、意味論に焦点を当てたコード命令の表現を提案する。
• データ依存と実行依存の情報を融合する文脈フローグラフ（XFGs）を定義する。
• LLVM IR 命令の inst2vec 埋め込みを作成・訓練する。
• アルゴリズム分類やデバイス/スレッド最適化予測を含むコード解析タスクで埋め込みを評価する。

提案手法

• 複数言語のソースコードを SSA 形式の LLVM IR に変換して、言語に依存しない表現を得る。
• ブロック、分岐、関数全体にわたるデータ依存と実行依存の両方を符号化する文脈フローグラフ（XFGs）を構築する。
• LLVM IR 命令を前処理し、XFGs から導出された命令文脈ペアを用いて skip-gram により 200 次元の inst2vec 埋め込みを訓練する。
• 固定の事前学習済み inst2vec 埋め込み行列を下流タスクの入力として 2 層の LSTM ネットワークに使用する。
• 3 つの高レベルタスク（アルゴリズム分類、異種計算デバイス割り当て、最適スレッド粗さ因子予測）で埋め込みを評価する。

実験結果

リサーチクエスチョン

• RQ1 言語に依存しない IR ベースの埋め込み空間は、言語を横断するコード意味を捉えることができるか？
• RQ2 文脈フローグラフは、データフロー単独や制御フロー単独を超えて、命令埋め込みの品質を向上させるか？
• RQ3 ファインチューニングなしで、事前学習済み inst2vec 埋め込みは高レベルのコード理解タスクでどれだけ良く機能するか？

主な発見

• XFG 文脈で訓練された inst2vec 埋め込みは、意味のあるクラスタリングとアナロジーを生み出し、CFG/DFG のみの表現を上回る。
• 2 命令の文脈サイズが、意味論的・統語的アナロジーおよび距離テストのための最良の埋め込み品質をもたらす。
• 固定された inst2vec 埋め込みを用いた RNN は、POJ-104 のアルゴリズム分類、異種デバイス割り当て、スレッド粗さ予測の3タスクで、専門モデルと同等かそれを上回る。
• POJ-104 のアルゴリズム分類では、inst2vec は 94.83% のテスト精度を達成し、TBCNN や表面特徴量ベースのベースラインを含む従来手法を上回る。
• デバイスマッピングとスレッド粗さにおいて、inst2vec-imm（即値付き）はしばしば最良または競合的な性能を示し、最先端のベースラインに近づく、または超える。