[論文レビュー] From Query to Usable Code: An Analysis of Stack Overflow Code Snippets

Di Yang, Aftab M. Hussain+1 more|arXiv (Cornell University)|May 14, 2016

Software Engineering Research参考文献 16被引用数 54

ひとこと要約

この論文は、自動プログラム生成のためのスタックオーバーフローのコードスニペットの使いやすさを分析し、C#、Java、JavaScript、Pythonにおけるパース、コンパイル、実行の評価を実施している。動的型付け言語であるPythonやJavaScriptは、約70%の実行可能コードを示すなど、静的型付け言語のC# や Java よりも著しく高い使いやすさを示しており、自動コード合成ツールの構築要素としてより適していることがわかった。

ABSTRACT

Enriched by natural language texts, Stack Overflow code snippets are an invaluable code-centric knowledge base of small units of source code. Besides being useful for software developers, these annotated snippets can potentially serve as the basis for automated tools that provide working code solutions to specific natural language queries. With the goal of developing automated tools with the Stack Overflow snippets and surrounding text, this paper investigates the following questions: (1) How usable are the Stack Overflow code snippets? and (2) When using text search engines for matching on the natural language questions and answers around the snippets, what percentage of the top results contain usable code snippets? A total of 3M code snippets are analyzed across four languages: C\#, Java, JavaScript, and Python. Python and JavaScript proved to be the languages for which the most code snippets are usable. Conversely, Java and C\# proved to be the languages with the lowest usability rate. Further qualitative analysis on usable Python snippets shows the characteristics of the answers that solve the original question. Finally, we use Google search to investigate the alignment of usability and the natural language annotations around code snippets, and explore how to make snippets in Stack Overflow an adequate base for future automatic program generation.

研究の動機と目的

• スタックオーバーフローのコードスニペットが自動プログラム生成の構築要素としてどの程度使いやすいかを評価すること。
• 主なプログラミング言語において、スニペットが文法的に正しいか、コンパイル可能か、実行可能かの割合を特定すること。
• 自然言語クエリに対するGoogle検索上位結果が、スタックオーバーフローから使いやすいコードスニペットを返すかどうかを評価すること。
• Pythonにおける高品質で使いやすいコードスニペットの特徴を定性的分析により特定すること。
• 自然言語クエリを用いて、自動合成や修復のための実行可能なコードを取得する可能性を検討すること。

提案手法

• C#、Java、JavaScript、Pythonの4言語にわたる、スタックオーバーフローの承認済み回答のコードスニペットを300万件収集した。
• 自動パース、C#およびJavaのコンパイル、PythonおよびJavaScriptの実行を実施し、スニペットの使いやすさを評価した。
• JavaおよびC#スニペットの構文エラーを修正するためのヒューリスティック修復手法を適用し、コンパイル性の向上を図った。
• 実行可能なPythonスニペットを対象に3段階の定性的分析を実施し、元の質問を完全かつ正確に解決する能力を評価した。
• Google Web Searchを用いてサンプルクエリの上位結果を取得し、その中で使いやすいコードスニペットの割合を測定した。
• 文法的正しさ、コンパイル成功、実行時エラーなしの有無に基づき、使いやすさを定義した。

実験結果

リサーチクエスチョン

• RQ1 異なるプログラミング言語において、スタックオーバーフローのコードスニペットはどの程度使いやすいか？
• RQ2 自然言語クエリに対するGoogle検索上位結果に、スタックオーバーフローの使いやすいコードスニペットがどの程度含まれているか？
• RQ3 Pythonにおける高品質で使いやすいコードスニペットを特徴づける要因は何か？
• RQ4 ヒューリスティック修復は、静的型付け言語におけるコードスニペットの使いやすさをどの程度向上できるか？
• RQ5 自然言語クエリとスタックオーバーフローの実行可能なコードスニペットとの整合性は、自動プログラム生成を支援するか？

主な発見

• PythonとJavaScriptは著しく高い使いやすさを示し、約70%のスニペットが実行可能である一方、C#とJavaではわずか約10%にとどまる。
• ヒューリスティック修復を施した後、Javaスニペットのコンパイル性は向上したが、C#スニペットは継続的な構文エラーのため、ほとんど修復不可能であった。
• 4万件を超える実行可能なPythonスニペットに対する定性的分析から、複数行のコードブロックが元の質問を完全かつ正確に解決するのに効果的であることが明らかになった。
• 自然言語クエリに対するGoogle検索上位結果は、頻繁にすでに実行可能なスタックオーバーフローのスニペットを返しており、ユーザーのクエリと実行可能なコードとの間には強い整合性があることが示された。
• 動的型付け言語であるPythonやJavaScriptは、出荷時から高い使いやすさを示すため、自動コード合成のためのソースとしてより適していると結論づけられた。
• 動的型付け言語では高い使いやすさを示す一方で、C#やJavaスニペットの低コンパイル性は、静的型付け環境における自動修復や合成の大きな課題を示している。