[論文レビュー] Enhancing Python Compiler Error Messages via Stack Overflow

Emillie Thiselton, Christoph Treude|arXiv (Cornell University)|Jun 27, 2019

Software Engineering Research参考文献 48被引用数 8

ひとこと要約

本論文では、Pyceeを提示する。Pyceeは、Sublime Text用のオープンソースプラグインであり、Pythonコンパイラのエラーメッセージを自動的に強化し、関連するStack Overflowスレッドを取得・要約することで、より明確にしている。16名のプログラマーを対象としたThink-aloud研究の結果、公式ドキュメントを使用するベースラインと比較して、Pyceeは顕著に優れていた。参加者は、具体的な修正手順やコード例を主な利点として挙げており、外部のコミュニティ知識がエラーメッセージの使いやすさを効果的に向上させられることを確認した。

ABSTRACT

Background: Compilers tend to produce cryptic and uninformative error messages, leaving programmers confused and requiring them to spend precious time to resolve the underlying error. To find help, programmers often take to online question-and-answer forums such as Stack Overflow to start discussion threads about the errors they encountered. Aims: We conjecture that information from Stack Overflow threads which discuss compiler errors can be automatically collected and repackaged to provide programmers with enhanced compiler error messages, thus saving programmers' time and energy. Method: We present Pycee, a plugin integrated with the popular Sublime Text IDE to provide enhanced compiler error messages for the Python programming language. Pycee automatically queries Stack Overflow to provide customised and summarised information within the IDE. We evaluated two Pycee variants through a think-aloud user study during which 16 programmers completed Python programming tasks while using Pycee. Results: The majority of participants agreed that Pycee was helpful while completing the study tasks. When compared to a baseline relying on the official Python documentation to enhance compiler error messages, participants generally preferred Pycee in terms of helpfulness, citing concrete suggestions for fixes and example code as major benefits. Conclusions: Our results confirm that data from online sources such as Stack Overflow can be successfully used to automatically enhance compiler error messages. Our work opens up venues for future work to further enhance compiler error messages as well as to automatically reuse content from Stack Overflow for other aspects of programming.

研究の動機と目的

• 長年の問題である、曖昧で役に立たないコンパイラのエラーメッセージが、プログラマーの生産性を妨えるという問題に対処すること。
• コンパイラのエラーに関するStack Overflowスレッドの情報が、自動的に収集され、エラーメッセージの明確化に再利用可能かどうかを調査すること。
• IDE内に直接、要約された実行可能なフィードバックを提供する統合ソリューション（Pycee）を設計・評価すること。
• 実際のプログラミング作業において、Stack Overflowからのコミュニティ情報に基づくエラーメッセージの効果と、公式ドキュメントの効果を比較すること。
• オンラインの開発者Q&Aコンテンツを再利用することで、ソフトウェア開発ツールの他の側面を向上させる可能性を探ること。

提案手法

• Pyceeは、Sublime Text内でコード作成中に発生するPythonコンパイラのエラーメッセージをリアルタイムで解析する。
• エラーメッセージから意味的クエリを構築し、関連するキーワード、動詞、他の言語の構文を含むクエリ拡張技術を用いる。
• プラグインは自動的にStack Overflowを照会し、エラーに関連する上位の回答を取得する。
• 自然言語要約技術を適用して、上位の回答から重要なインサイト、修正の提案、関連するコードスニペットを抽出する。
• 要約された情報とコード例を含む強化済みエラーメッセージを、元のメッセージの置き換えまたは補足としてIDE内に直接表示する。
• 2つのバージョンを評価した：Pycee（Stack Overflowを使用）とPyceeDoc（公式Pythonドキュメントを使用）を、Think-aloudユーザー研究で比較した。

実験結果

リサーチクエスチョン

• RQ1 IDE内でのリアルタイム処理において、Stack Overflowからのコミュニティベースのコンテンツを効果的にコンパイラのエラーメッセージ強化に活用できるか？
• RQ2 Stack Overflowからのエラーメッセージの有用性は、公式ドキュメントのものと比べてどのように異なるか？
• RQ3 強化されたエラーメッセージのどの要素（例：修正の提案、コード例）が、プログラマーの理解力向上やタスク完了に最も寄与しているか？
• RQ4 開発者は実際にプログラミング作業中に、要約されたコンテキストに即したエラーフィードバックをどのように扱い、どのような利益を得ているか？
• RQ5 Q&Aコンテンツの自動要約によって、コンパイラのエラーメッセージの使いやすさはどの程度向上できるか？

主な発見

• 参加者の大多数が、Think-aloud研究中にPyceeの有用性を認識しており、16名中14名が、エラーの解決能力が向上したと認めている。
• 参加者は一貫してPyceeをPyceeDocよりも好んだ。主な利点として、具体的な修正手順や動作するコード例を挙げていた。
• Pyceeは、実行可能なコンテキストに即した情報提供により、エラーの理解と解決に要する時間と認知的負荷を軽減した。
• 本研究では、Stack Overflowの回答を要約して簡潔でコードを多く含むメッセージにすることで、生のドキュメントよりも著しく有用性が向上することが判明した。
• 結果として、外部のコミュニティ生成知識ソースが、IDE内でのコンパイラフィードバック強化のために、自動的かつ効果的に活用可能であることが確認された。
• 本研究では、エラーが曖昧またはコンパイラによって不適切に表現された場合でも、非熟練プログラマーも強化されたメッセージの恩恵を受けることが明らかになった。