[論文レビュー] SmartPaste: Learning to Adapt Source Code

Miltiadis Allamanis, Marc Brockschmidt|arXiv (Cornell University)|May 22, 2017

Web Data Mining and Analysis参考文献 16被引用数 14

ひとこと要約

SmartPasteは、変数の使用法のデータフローに敏感な表現を学習することで、過去に貼り付けられたコードスニペットを既存のコードに適応させるための新しい構造予測タスクを導入する。コードのデータフローと実行パスを介して変数の意味を符号化する深層ニューラルモデルを用いることで、変数名の変更において58.6%の正確性を達成し、プログラムの適応に向けた意味的な変数表現の非教師あり学習が有効であることを示している。

ABSTRACT

Deep Neural Networks have been shown to succeed at a range of natural language tasks such as machine translation and text summarization. While tasks on source code (ie, formal languages) have been considered recently, most work in this area does not attempt to capitalize on the unique opportunities offered by its known syntax and structure. In this work, we introduce SmartPaste, a first task that requires to use such information. The task is a variant of the program repair problem that requires to adapt a given (pasted) snippet of code to surrounding, existing source code. As first solutions, we design a set of deep neural models that learn to represent the context of each variable location and variable usage in a data flow-sensitive way. Our evaluation suggests that our models can learn to solve the SmartPaste task in many cases, achieving 58.6% accuracy, while learning meaningful representation of variable usages.

研究の動機と目的

• 貼り付けられたコードスニペットを新しい文脈に適応させる課題に対処すること、特に変数識別子を周囲むコードに一致させるために名前を変更する必要があること。
• 表面的なトークン列に依存せずに、データフローに敏感な変数使用の表現を学ぶこと。
• 貼り付けられたコードとホスト文脈の間の意味的整合性を捉える新しい構造予測タスク「SmartPaste」を導入すること。
• 学習された変数埋め込みを用いて、インтелリジェントなコード補完、バグ検出、コード要約などの実用的なソフトウェア工学の応用を可能にすること。
• 明示的なプログラム意味のモデリングが、データとモデル容量の要件を低減させながらも、コード適応タスクのパフォーマンスを向上させることを示すこと。

提案手法

• SmartPasteタスクは、スニペットとそのホスト文脈間の変数アラインメントを表すグラフ構造をモデルが予測する構造予測問題として定式化される。
• 制御構造とデータフロー構造を入力として用い、データフローに敏感な方法で変数使用を表現するための5つの深層ニューラルネットワークモデルが設計される。
• モデルは、変数の意味的役割（例：カウンタ、ファイル名）や使用状況（例：ファイル名が期待される場所）を予測することで、変数の分散表現を学ぶ。
• モデルは、オープンソースプロジェクトから得た480万行の実世界のC#コードからなる大規模データセット上でエンドツーエンドに訓練される。
• データフローと制御依存関係をエンコードするグラフ構造が、変数の関係性と制約をモデルに供給される。
• Word2VecやGLoVeにインspirationを得つつ、それを形式的なプログラム構文と意味論に拡張することで、非教師あり学習による変数使用埋め込みの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、データフローと変数使用の意味論をモデル化することで、貼り付けられたコードスニペットを新しい文脈に適応させることができるか？
• RQ2 文法的モデルに比べて、データフローと実行パスの情報が、変数名の変更の正確性をどの程度向上させるか？
• RQ3 非教師あり学習による変数表現の学習は、多様なコードベースに一般化可能であり、コード補完やバグ検出などの下流タスクを支援できるか？
• RQ4 構造予測アプローチは、変数名の変更が相互に依存する場合に、自己回帰的またはトークンレベルの予測と比較してどのように機能するか？
• RQ5 大規模かつ実世界のコード環境において、変数の意味的表現を学ぶ際のパフォーマンスの上限は何か？

主な発見

• 最良のモデルは、SmartPasteタスクで58.6%の正確性を達成し、データフローに配慮した表現が変数名の変更パフォーマンスを顕著に向上させることを示している。
• 学習された表現は、カウンタ、ファイルパス、データソースといった意味的な役割を的確に捉えている。
• コンパイラ、ライブラリ、フレームワークを含む多様なコードベースに一般化でき、実世界のC#コード482万行の評価でその有効性が確認された。
• ソースコードに内在する構造的情報を活用することで、大量のラベル付きデータや複雑な訓練プロトコルへの依存を減らすことができた。
• データフローを無視するベースラインモデルと比較して、本手法が優れていることから、プログラム表現学習における意味的構造の重要性が確認された。
• 学習された埋め込み表現は、不適切な変数使用を特定することで、インテリジェントなコード補完や自動バグ検出などの幅広い応用の可能性を示している。