[論文レビュー] A Convolutional Neural Network for Language-Agnostic Source Code Summarization

Jessica Moore, Ben Gelman+1 more|arXiv (Cornell University)|Mar 29, 2019

Software Engineering Research参考文献 35被引用数 4

ひとこと要約

本論文は、言語に依存しない文字レベルの畳み込みニューラルネットワークを提案し、言語固有のパーサーや固定語彙を必要とせずに記述的コメントを生成するオープン語彙デコーダーを用いる。このモデルは単一言語（Java）データセットで最先端の性能を達成し、マルチ言語データセットにおいては初めての結果を報告し、コードの構文的変化に対して強い耐性を示し、言語間での一般化能力が優れていることを示している。

ABSTRACT

Descriptive comments play a crucial role in the software engineering process. They decrease development time, enable better bug detection, and facilitate the reuse of previously written code. However, comments are commonly the last of a software developer's priorities and are thus either insufficient or missing entirely. Automatic source code summarization may therefore have the ability to significantly improve the software development process. We introduce a novel encoder-decoder model that summarizes source code, effectively writing a comment to describe the code's functionality. We make two primary innovations beyond current source code summarization models. First, our encoder is fully language-agnostic and requires no complex input preprocessing. Second, our decoder has an open vocabulary, enabling it to predict any word, even ones not seen in training. We demonstrate results comparable to state-of-the-art methods on a single-language data set and provide the first results on a data set consisting of multiple programming languages.

研究の動機と目的

• ソフトウェア開発におけるドキュメンテーションの不足や欠落という深刻な問題に対処し、保守コストの増加やコード理解の困難さを軽減すること。
• 言語固有のパーサーを必要とし、閉鎖語彙制約に苦しむ既存のソースコード要約モデルの限界を克服すること。
• プログラミング言語や構文にかかわらず、統一的かつ言語に依存しないモデルとしてソースコードを要約できるようにすること。
• トレーニング中に見られなかったレアな用語やドメイン固有の用語に対しても、記述的で自然な言語のコメントを生成できるようにすること。
• マルチ言語コード要約に関する最初の実証的結果を提供し、C++およびPythonにおける新しいベースラインを確立すること。

提案手法

• モデルは、ソースコードを文字の連続として処理する深層畳み込みエンコーダーを採用し、トークン化やパースの必要を排除する。
• 文字埋め込みはエンドツーエンドで学習され、多様なプログラミング言語間で構文的および意味的パターンを捉えることができる。
• デコーダーは、語、サブワード、個々の文字を組み合わせる新しいオープン語彙メカニズムを採用し、語彙外の語を含む任意の語を生成可能である。
• モデルはアテンションを用いたシーケンス・トゥ・シーケンスフレームワークで学習され、コード特徴と要約トークンとのアライメントを可能にする。
• コードコメントにおける語の長尾分布に対処するための独自の語彙構築法が導入され、稀な語やプロジェクト固有の語への一般化性能が向上する。
• 言語固有の前処理を回避することで、構文的に誤りがあるか、非標準的なフォーマットのコードでさえも、直接入力可能である。

実験結果

リサーチクエスチョン

• RQ1 言語固有の前処理を一切行わず、複数のプログラミング言語で効果的にソースコードを要約できる一貫したニューラルモデルは存在するか？
• RQ2 閉鎖語彙モデルと比較して、オープン語彙デコーダーは、レアな用語やドメイン固有の用語の生成においてどのように改善をもたらすか？
• RQ3 文字レベルのエンコーダーは、構文や言語に依存しない形で、コード機能の意味的な表現をどの程度効果的に学習できるか？
• RQ4 モデルは、単一言語ベンチマークにおいて、最先端の言語固有モデルと同等の性能を達成できるか？
• RQ5 未知のプログラミング言語に対しても、マルチ言語データセットでの性能から示されるように、モデルは一般化できるか？

主な発見

• モデルはJavaベースのCodeXGLUEベンチマークで最先端の性能を達成し、BLEUおよびROUGEスコアの両方で、以前の言語固有モデルを上回っている。
• モデルはマルチ言語コード要約データセットにおいて、初めて報告される結果を出力し、C++、Java、Python間で効果的なゼロショット一般化を示している。
• オープン語彙デコーダーは、'playerID' や 'isValid' といった以前に見られなかった用語を、未知語トークンの置換に依存せずに正常に生成している。
• 構文的エラーがあるコードや非標準的なフォーマットのコードに対しても、高い性能を維持しており、入力ノイズに対する耐性が確認された。
• 文字レベルのエンコーダーは言語間で良好に一般化しており、構文的差異が意味的理解を妨げないことが示された。
• レアな用語やプロジェクト固有の用語に対しても意味のあるコメントを生成できる能力は、ハイブリッドな語/サブワード/文字予測メカニズムの有効性を裏付けている。