[論文レビュー] ast2vec: Utilizing Recursive Neural Encodings of Python Programs

Benjamin Paaßen, Jessica McBroom+3 more|arXiv (Cornell University)|Mar 22, 2021

Machine Learning and Data Classification参考文献 55被引用数 7

ひとこと要約

ast2vec は、Python の抽象構文木（AST）を固定長の密ベクトルに符号化し、元の構造に再構築する再帰的ニューラルネットワークであり、学生のプログラミングデータに対する多様なデータマイニングタスクを可能にする。50万件の初心者向けプログラムで訓練された結果、低レベルの自己符号化誤差を達成し、スケーラブルなベクトルベースの分析をサポートし、シンプルな線形モデルで高い予測精度を実現する。再訓練を必要とせず、教育的データマイニングに汎用的かつ再利用可能な表現を提供する。

ABSTRACT

Educational datamining involves the application of datamining techniques to student activity. However, in the context of computer programming, many datamining techniques can not be applied because they expect vector-shaped input whereas computer programs have the form of syntax trees. In this paper, we present ast2vec, a neural network that maps Python syntax trees to vectors and back, thereby facilitating datamining on computer programs as well as the interpretation of datamining results. Ast2vec has been trained on almost half a million programs of novice programmers and is designed to be applied across learning tasks without re-training, meaning that users can apply it without any need for (additional) deep learning. We demonstrate the generality of ast2vec in three settings: First, we provide example analyses using ast2vec on a classroom-sized dataset, involving visualization, student motion analysis, clustering, and outlier detection, including two novel analyses, namely a progress-variance-projection and a dynamical systems analysis. Second, we consider the ability of ast2vec to recover the original syntax tree from its vector representation on the training data and two further large-scale programming datasets. Finally, we evaluate the predictive capability of a simple linear regression on top of ast2vec, obtaining similar results to techniques that work directly on syntax trees. We hope ast2vec can augment the educational datamining toolbelt by making analyses of computer programs easier, richer, and more efficient.

研究の動機と目的

• プログラムデータは通常木構造的であり、ベクトル形式ではないため、標準的なデータマイニング手法をプログラムデータに適用する課題に対処すること。
• 再訓練を必要とせず、学習タスクに一般化可能な、汎用的かつ再利用可能な Python プログラムのベクトル表現を開発すること。
• ベクトルベースの手法を用いて、学生のプログラミングデータに対する効率的でスケーラブルかつ解釈可能なデータマイニングを可能にすること。
• ベクトル空間内での進捗分散プロットや動的システムモデリングといった、新しい分析手法を支援すること。
• 学習済み表現の上に構築されたシンプルなモデルが、複雑な木ベースの手法と同等の性能を達成できることを示すこと。

提案手法

• ast2vec は、下位から上位への構造に配慮したアプローチを用いて、再帰的ニューラルネットワークにより Python AST を固定サイズの密ベクトルに符号化する。
• モデルは自己符号化器として訓練され、符号化と復元の過程で構文的構造を保持するための再構築損失を用いる。
• 復元段階では文法的制約を課すことにより、再構築されるのは常に有効な AST であることを保証する。
• ネットワークは教育プラットフォームから得た約50万件の初心者向け Python プログラムで訓練される。
• 学習済み表現に直接、クラスタリング、可視化、線形回帰などのベクトルベースの分析が適用される。
• プログラムの進化をモデリングし、次のコード変更を予測するための、新しい線形動的システム手法が提案される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、多様なデータマイニングタスクをサポートする汎用的かつ再利用可能な Python AST のベクトル表現を学習できるか？
• RQ2 ast2vec は、ベクトル符号化からの元の AST を、特に未学習のデータセットにおいてどれほど正確に再構築できるか？
• RQ3 ast2vec の埋め込み表現の上に構築されたシンプルなモデル（例：線形回帰）は、複雑な木ベースのモデルと同等の予測性能を達成できるか？
• RQ4 進捗分散プロットや動的システムモデリングといった、新しい分析手法がベクトル空間で効果的に適用できるか？
• RQ5 ast2vec が学習するベクトル空間は、教育的データ分析において滑らかで解釈可能であるか？

主な発見

• ast2vec は学習データにおいて低レベルの自己符号化誤差を達成し、2つの大規模な未学習のプログラミングデータセットに対しても良好に一般化するが、AST のサイズが大きくなると誤差が増加する。
• 符号化および復元の処理時間は理論的 O(n) の境界と一致しており、大規模な教育的データに対してスケーラブルであることが示された。
• ast2vec の埋め込み表現の上に構築されたシンプルな線形回帰モデルが、次回のコード変更予測タスクにおいて、最先端の木ベースの手法と同等の予測精度を達成した。
• ast2vec のベクトル空間は、進捗分散プロットの可視化や、正しい解に収束を保証する線形動的システムモデルといった、新しい分析手法を効果的にサポートするほど滑らかである。
• 再訓練や専門家によるラベル付けを必要とせず、クラスタリング、外れ値検出、モーション解析といった多様なデータマイニングタスクが可能である。
• 強力な性能を発揮しているが、より大きなプログラムでは自己符号化誤差が依然として高いため、より再帰的なアーキテクチャの導入により改善の余地がある。