[論文レビュー] Convolutional Neural Networks over Tree Structures for Programming Language Processing

Lili Mou, Ge Li+3 more|arXiv (Cornell University)|Sep 18, 2014

Software Engineering Research参考文献 30被引用数 295

ひとこと要約

本論文では、抽象構文木（AST）を活用してコード内の豊富な構造的情報を捉えることで、プログラミング言語処理のためのツリー構造を用いた畳み込みニューラルネットワーク（TBCNN）を提案する。モデルは連続的バイナリツリーと動的プーリングを用い、変動するツリーのサイズに対応し、プログラム分類およびパターン検出の分野で最先端の性能を達成しており、従来のNLPモデルおよびベースラインニューラル手法よりも、重要なタスクで10%以上優れている。

ABSTRACT

Programming language processing (similar to natural language processing) is a hot research topic in the field of software engineering; it has also aroused growing interest in the artificial intelligence community. However, different from a natural language sentence, a program contains rich, explicit, and complicated structural information. Hence, traditional NLP models may be inappropriate for programs. In this paper, we propose a novel tree-based convolutional neural network (TBCNN) for programming language processing, in which a convolution kernel is designed over programs' abstract syntax trees to capture structural information. TBCNN is a generic architecture for programming language processing; our experiments show its effectiveness in two different program analysis tasks: classifying programs according to functionality, and detecting code snippets of certain patterns. TBCNN outperforms baseline methods, including several neural models for NLP.

研究の動機と目的

• プログラミング言語に内在する明示的で複雑な構造的情報を処理するうえで、従来のNLPモデルの限界を克服すること。
• ソースコードの構文的・意味的構造を効果的に捉えることのできる汎用的な深層学習アーキテクチャの開発。
• ニューラルネットワークベースのプログラム解析において、サイズや形状が異なる抽象構文木（AST）に起因する課題の克服。
• ツリー構造の畳み込みネットワークが、実世界のソフトウェア工学タスクにおいて有効であることを示すこと。

提案手法

• TBCNNモデルは、プログラムの抽象構文木（AST）を構築し、ツリー構造の表現に対して畳み込みカーネルを適用することで処理を行う。
• 子ノードの数が異なる場合やノードの順序を保持する必要がある場合に対応するため、連続的バイナリツリー構造を導入する。
• 異なるサイズや形状のツリーからの特徴を統合するために動的プーリングを適用し、多様なプログラム構造に一般化できるようにする。
• ノード表現は、事前学習済み埋め込みと構造的文脈を組み合わせるコーディング層によって学習され、特徴の表現力を向上させる。
• 特徴統合の影響を評価するために、1ウェイおよび3ウェイプール戦略を用いる。
• 子ノードの順序を保持する重要性を評価するため、連続的バッグオブワード（CBoW）ベースラインを比較対象として用いる。

実験結果

リサーチクエスチョン

• RQ1 ツリー構造の畳み込みニューラルネットワークは、ソースコードにおける構文的・意味的特徴を効果的に捉えることができるか？
• RQ2 ASTにおける子ノードの順序を保持することは、プログラム解析タスクにおけるモデル性能にどのように影響するか？
• RQ3 動的プーリングは、サイズや形状が異なるAST間での一般化をどの程度向上させるか？
• RQ4 TBCNNは、従来のバッグオブワードおよびバッグオブツリーのベースラインと比較して、プログラム分類およびパターン検出タスクでどのように性能を発揮するか？
• RQ5 連続的バイナリツリーを用いて構造的インダクティブバイアスを組み込むことで、標準的なプールや平均化戦略よりも高い性能が得られるか？

主な発見

• TBCNNは、バブルソートパターン検出において94.4%の検証精度を達成し、バッグオブワードベースライン（62.3%）およびバッグオブツリー（77.06%）を大きく上回った。
• グローバルな構造的文脈を統合するコーディング層を導入することで、事前学習済みノード埋め込みへの直接畳み込みと比較して2%の性能向上が得られた。
• 600次元の畳み込み層を用いることで最高の検証精度が得られ、豊富な構造的意味論を捉えるには多数の特徴検出器が必要であることを示している。
• 1ウェイプールが3ウェイプールと同等またはわずかに優れた性能を示し、TBCNNがプール戦略の選択に対して頑健であることを示している。
• 連続的バイナリツリー構造を採用することで、CBoWベースラインと比較して1.3%の性能向上が達成され、子ノードの順序を保持することが重要であることが示された。
• TBCNNは、プログラム分類およびパターン検出タスクの両方で再帰的ニューラルネットワークや他のNLPベースのモデルを上回り、プログラミング言語処理における深層学習の新たな最先端を確立した。