[論文レビュー] Building Program Vector Representations for Deep Learning

Lili Mou, Ge Li+5 more|arXiv (Cornell University)|Sep 11, 2014

Software Engineering Research参考文献 47被引用数 13

ひとこと要約

本論文は、プログラム内の抽象構文木（AST）ノードの密なベクトル表現を生成するための新しい「コーディング基準」を導入し、プログラム解析におけるディープラーニングを可能にする。ASTで訓練を行い、これらの学習済みベクトルを入力として用いることで、従来の機械学習モデルよりも高い分類精度を達成しており、ディープラーニングがプログラム解析に適用可能で効果的であることを示している。

ABSTRACT

Deep learning has made significant breakthroughs in various fields of artificial intelligence. Advantages of deep learning include the ability to capture highly complicated features, weak involvement of human engineering, etc. However, it is still virtually impossible to use deep learning to analyze programs since deep architectures cannot be trained effectively with pure back propagation. In this pioneering paper, we propose the "coding criterion" to build program vector representations, which are the premise of deep learning for program analysis. Our representation learning approach directly makes deep learning a reality in this new field. We evaluate the learned vector representations both qualitatively and quantitatively. We conclude, based on the experiments, the coding criterion is successful in building program representations. To evaluate whether deep learning is beneficial for program analysis, we feed the representations to deep neural networks, and achieve higher accuracy in the program classification task than "shallow" methods, such as logistic regression and the support vector machine. This result confirms the feasibility of deep learning to analyze programs. It also gives primary evidence of its success in this new field. We believe deep learning will become an outstanding technique for program analysis in the near future.

研究の動機と目的

• プログラム構造の効果的なベクトル表現を生成することで、プログラム解析におけるディープラーニングを可能にすること。
• 適切な事前学習や特徴表現が不足しているため、プログラムに対してディープニューラルネットワークを訓練するという課題に対処すること。
• ディープラーニングが、プログラム分類タスクにおいて従来の機械学習手法を上回ることを評価すること。
• コード、データセット、学習済み表現を公開することで、ニューラルプログラム解析分野の研究を加速するためのオープンサイエンスを推進すること。

提案手法

• ASTノード（例：ID、定数）の構文的および文脈的特徴に基づき、実数値のベクトル表現を学習するための「コーディング基準」を提案する。
• 前向き伝搬ニューラルネットワークを用いて、ASTをノードのシーケンスとして扱い、エンドツーエンドの訓練を通じてこれらの表現を学習する。
• 誤差逆伝播を用いてベクトル埋め込みを最適化し、ネットワークがコード内の意味的および構造的関係を捉えるようにする。
• 学習済みのベクトル表現を、プログラム分類などの下流タスク用のより深いニューラルネットワークの入力として用いる。
• コンピュータビジョンにインspiredされた2次元的コード表現のアプローチを導入し、 intends と改行を構造的ヒントとしてモデル化する。
• 木構造や局所的パターンなどの分野固有の事前知識（例：木構造、局所的パターン）をニューラルアーキテクチャに統合する方法を検討する。例えば、木ベースの畳み込みニューラルネットワーク（TCNN）を用いる。

実験結果

リサーチクエスチョン

• RQ1 プログラムのASTノードの効果的なベクトル表現を学習することで、ディープラーニングをプログラム解析に適用可能にすることができるか？
• RQ2 提案されたコーディング基準は、ASTノード間の意味的および構造的関係を的確に捉えているか？
• RQ3 これらの学習済み表現で訓練されたディープニューラルネットワークは、従来の「浅い」モデル（例：SVM、ロジスティック回帰）を上回る性能を示すか？
• RQ4 プログラム構造に関する人間の事前知識（例：構文木、インデント）を、コードのためのディープラーニングアーキテクチャに効果的に統合できるか？
• RQ5 ディープラーニングは、コードのクローン検出やバグ特定などの、より広範なプログラム解析応用分野において実現可能で、その可能性を秘めているか？

主な発見

• コーディング基準は、ASTノード間の意味的および構造的関係を捉えるベクトル表現を効果的に生成した。
• 学習済みのベクトル表現は、プログラム分類のためのディープニューラルネットワークにおける最適化と一般化を顕著に向上させた。
• 学習済み表現を入力として用いたディープニューラルネットワークは、ロジスティック回帰やSVMなどの従来の機械学習モデルを上回る分類精度を達成した。
• 実験により、ディープラーニングをプログラム解析に適用することが可能であることが確認され、この分野における成功の初期的証拠が得られた。
• 定性的および定量的な両面から検証された結果、ベクトル表現はプログラムの類似性や関係性を効果的にモデル化できている。
• コード、データセット、学習済み表現の公開により、今後のニューラルプログラム解析分野の研究が加速すると期待される。