[論文レビュー] Dynamic Witnesses for Static Type Errors.

Eric L. Seidel, Ranjit Jhala+1 more|arXiv (Cornell University)|Jun 24, 2016

Software Engineering Research被引用数 4

ひとこと要約

本稿では、関数型プログラミング言語における静的型エラーを説明する動的アプローチを提案する。型エラーの原因を示すために、自動的に証拠入力を生成することで、プログラムが型エラーである理由を明確にする。記号実行を用いて、一般化可能な反例と還元グラフを合成し、型エラーを視覚化する。学生が書いたプログラムに対して88%のカバレッジを達成し、従来のエラーメッセージと比較して、学生の理解が著しく向上した。

ABSTRACT

Static type errors are a common stumbling block for newcomers to typed functional languages. We present a dynamic approach to explaining type errors by generating counterexample witness inputs that illustrate how an ill-typed program goes wrong. First, given an ill-typed function, we symbolically execute the body to dynamically synthesize witness values that can make the program go wrong. We prove that our procedure synthesizes general witnesses in that if a witness is found, then for all inhabited input types, there exist values that can make the function go wrong. Second, we show how to extend the above procedure to produce a reduction graph that can be used to interactively visualize and debug witness executions. Third, we evaluate the coverage of our approach on two data sets comprising over 4,500 ill-typed student programs. Our technique is able to generate witnesses for 88% of the programs, and our reduction graph yields small counterexamples for 81% of the witnesses. Finally, we evaluate the utility of our witnesses in helping students understand and fix type errors, and find that students presented with our witnesses consistently show a greater understanding of type errors than those presented with a standard error message.

研究の動機と目的

• 初心者が関数型プログラミング言語における静的型エラーを理解するのを支援する課題に対処すること。
• 従来のエラーメッセージを越えて、型エラーで失敗するプログラムの理由を動的かつインタラクティブに説明する方法を開発すること。
• 実際の動作において型エラーがどのように現れるかを示す一般化可能な証拠入力を生成すること。
• これらの証拠が、型システムに関する学生の理解をどの程度向上させるかを評価すること。

提案手法

• 記号実行を用いて、型エラーを露呈する動的証拠値を合成する。
• 証拠が生成された場合、すべての到達可能な入力型に対して有効であることを保証することで、一般化可能性を確保する。
• 還元グラフを構築し、証拠プログラムの実行を段階的に可視化することで、インタラクティブなデバッグを可能にする。
• 記号実行中に不適切な型式の構造を分析することで、複雑な型エラーに対処する拡張を実施する。
• 4,500件以上の学生プログラムを対象に評価し、証拠のカバレッジと反例の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準のコンパイラエラーメッセージと比較して、動的証拠生成は学生の静的型エラー理解を向上させるか？
• RQ2 自動生成された証拠を用いて、型エラーである学生プログラムの何パーセントが診断可能か？
• RQ3 生成された証拠は、小さく理解しやすい反例をどれほど効果的に生成するか？
• RQ4 還元グラフは、型エラーの根本原因を追跡・デバッグするのを支援するか？

主な発見

• 評価データセットに含まれる4,500件以上の型エラーを示す学生プログラムのうち、88%で証拠が正常に生成された。
• 生成された証拠の81%において、還元グラフが小さく理解しやすい反例を生成し、エラーの原因を明確に示した。
• 動的証拠を受け取った学生は、従来のエラーメッセージを受け取った学生と比較して、型エラーに関する理解が著しく向上した。
• 証拠生成プロセスは一般化可能であり、生成された証拠がすべての到達可能な入力型で型エラーを露呈できることを保証する。