[論文レビュー] Learning Python Code Suggestion with a Sparse Pointer Network

Avishkar Bhoopchand, Tim Rocktäschel+2 more|arXiv (Cornell University)|Nov 24, 2016

Software Engineering Research参考文献 19被引用数 67

ひとこと要約

この論文では、動的型付け言語としてのPythonにおけるコード補完の精度を向上させるために、ニューラル言語モデルと統合されたスパースポインタネットワークを提案する。長距離の識別子依存関係が一般的なPythonにおいて、抽象構文木（AST）のフィルタリングされたビューを通じて過去の識別子に選択的に注目することで、モデルは自己エントロピーを低減し、LSTMベースラインと比較して5パcentポイントの精度向上を達成するとともに、識別子予測精度は13倍向上した。

ABSTRACT

To enhance developer productivity, all modern integrated development environments (IDEs) include code suggestion functionality that proposes likely next tokens at the cursor. While current IDEs work well for statically-typed languages, their reliance on type annotations means that they do not provide the same level of support for dynamic programming languages as for statically-typed languages. Moreover, suggestion engines in modern IDEs do not propose expressions or multi-statement idiomatic code. Recent work has shown that language models can improve code suggestion systems by learning from software repositories. This paper introduces a neural language model with a sparse pointer network aimed at capturing very long-range dependencies. We release a large-scale code suggestion corpus of 41M lines of Python code crawled from GitHub. On this corpus, we found standard neural language models to perform well at suggesting local phenomena, but struggle to refer to identifiers that are introduced many tokens in the past. By augmenting a neural language model with a pointer network specialized in referring to predefined classes of identifiers, we obtain a much lower perplexity and a 5 percentage points increase in accuracy for code suggestion compared to an LSTM baseline. In fact, this increase in code suggestion accuracy is due to a 13 times more accurate prediction of identifiers. Furthermore, a qualitative analysis shows this model indeed captures interesting long-range dependencies, like referring to a class member defined over 60 tokens in the past.

研究の動機と目的

• Pythonのような動的型付け言語における標準的なニューラル言語モデルが長距離依存関係を捉えることの限界を解決すること。
• 標準的なRNNや注意メカニズムのみでは達成できない精度の向上を目指して、コード補完の精度を向上させること。
• コードコンテキストのずっと前までさかのぼって導入された識別子を効率的に特定・参照するメカニズムを開発すること。
• 4100万行のPythonコードから構成される大規模かつ高品質なコーパスを構築・公開し、学習と評価に用いること。
• スパース注意メカニズムが構文的識別子に焦点を当てることで、一般の注意メカニズムやベースラインモデルを上回ることを実証すること。

提案手法

• コードシーケンスの次のトークンを予測するために、LSTMを用いて順序的なコンテキストを符号化するニューラル言語モデルを学習する。
• 過去のトークンの隠れ状態に注目する注意メカニズムを統合し、長距離依存関係のモデリングを改善する。
• 抽象構文木（AST）から抽出したフィルタリングされた識別子表現にのみ選択的に注目するスパースポインタネットワークを設計し、以前に導入された関連する識別子に焦点を当てる。
• 現在の隠れ状態と過去の識別子表現との間の関連スコアに基づいて、文脈ベクトルを計算する微分可能な注意メカニズムを適用する。
• ポインタネットワーク部は、事前に定義された候補識別子の集合から正しい識別子を予測するように学習される。
• エンドツーエンドでクロスエントロピー損失を最適化し、ポインタネットワーク部を、正しい識別子を予測するように学習させる。

実験結果

リサーチクエスチョン

• RQ1 ASTから導出された識別子に対するスパース注意を備えたニューラル言語モデルは、標準的なRNNや一般の注意メカニズムと比較して、Pythonコードにおける長距離依存関係をよりよく捉えられるか？
• RQ2 識別子に焦点を当てたポインタネットワークの統合は、特に長距離参照においてコード補完の精度を向上させるか？
• RQ3 提案手法は、n-gramモデルや標準的なニューラル言語モデルと比較して、コード補完タスクにおける自己エントロピーとトップ5精度の観点でどのように性能を示すか？
• RQ4 モデルは、コード内で60トークン以上も前に導入された識別子をどれほど正しく参照できるか？
• RQ5 スパースポインタメカニズムは、標準的な言語モデルベースラインと比較して、識別子予測の誤り率を低減できるか？

主な発見

• 提案されたスパースポインタネットワークは、LSTMベースラインと比較して、コード補完精度が5パーセントポイント向上した。
• モデルは自己エントロピーを顕著に低減し、コードシーケンスの言語モデルとしての性能が向上していることを示している。
• 識別子予測精度はLSTMベースラインと比較して13倍向上し、長距離依存関係に対する強力な性能を示している。
• 定性的な分析により、モデルが60トークン以上も前に導入されたクラスメンバーまたは関数を正しく参照できていることが確認された。
• 注意メカニズムは役立つが、避けられるミスを引き起こすことがある。これに対して、スパースポインタネットワークはそのミスを効果的に是正している。
• 公開された4100万行のPythonコーパスにより、コード補完モデルの大規模な学習と評価が可能となり、今後の研究を支援する基盤が整った。