[論文レビュー] Learning to Blame: Localizing Novice Type Errors with Data-Driven Diagnosis

Eric L. Seidel, Huma Sibghat+3 more|arXiv (Cornell University)|Aug 25, 2017

Software Engineering Research参考文献 20被引用数 3

ひとこと要約

本稿では、5,000件の初心者向けOCamlプログラムのコーパスを用いた教師あり機械学習に基づくデータ駆動型アプローチであるNateを紹介する。Nateは、型エラーの原因である最も可能性の高い部分式を予測することで、型エラーの原因を局所化する。構文的・型情報的・構造的特徴に加え、親および子式の文脈を活用することで、トップランクの責任割り当てにおいて72%の精度を達成し、OCamlとSHErrLocをそれぞれ28ポイントおよび16ポイント上回る。

ABSTRACT

Localizing type errors is challenging in languages with global type inference, as the type checker must make assumptions about what the programmer intended to do. We introduce Nate, a data-driven approach to error localization based on supervised learning. Nate analyzes a large corpus of training data -- pairs of ill-typed programs and their "fixed" versions -- to automatically learn a model of where the error is most likely to be found. Given a new ill-typed program, Nate executes the model to generate a list of potential blame assignments ranked by likelihood. We evaluate Nate by comparing its precision to the state of the art on a set of over 5,000 ill-typed OCaml programs drawn from two instances of an introductory programming course. We show that when the top-ranked blame assignment is considered, Nate's data-driven model is able to correctly predict the exact sub-expression that should be changed 72% of the time, 28 points higher than OCaml and 16 points higher than the state-of-the-art SHErrLoc tool. Furthermore, Nate's accuracy surpasses 85% when we consider the top two locations and reaches 91% if we consider the top three.

研究の動機と目的

• グローバル型推論を備えた言語において、エラーメッセージが真のエラー原因から大きく離れていることがよくあるという課題に対処すること。
• 制約ベースのエラー局所化手法に内在する限界、特に現実世界の初心者プログラミングミスに拡張性や適応性がないことへの対処。
• 熟練者による仮定ではなく、実際に初心者プログラマーの行動から学ぶスケーラブルなデータ駆動型のエラー局所化アプローチの開発。
• 機械学習モデルのトレーニングと評価に使用できる、不恰好なプログラムとその修正を含む大規模で現実的なデータセットの構築。
• 学習されたモデルが異なる初心者プログラマーのグループに一般化でき、純粋に記号的またはヒューリスティックベースの手法を上回ることの実証。

提案手法

• 2学期間にわたり、学生のプログラム提出をログ記録するようにOCamlコンパイラーを拡張することで、5,000件の不恰好なOCamlプログラムとその修正を含むコーパスを収集。
• 不恰好なプログラムと修正済みプログラムの間でツリー差分を計算することで、変更された正確な部分式を特定し、ラベル付きトレーニングデータを抽出。
• 構文的構造、型情報、および親および子式からの文脈的特徴を含む、豊富な特徴量を各プログラム式に対して設計。
• 各式が型エラーの原因である可能性を予測するための教師あり機械学習モデル（例：勾配ブースティングツリー）を訓練。
• モデルの信頼度に基づいて潜在的な責任割り当てをランク付けし、トップ1、トップ2、トップ3の精度を評価。
• 一般化性能を評価するため、1つの学年分のデータで学習し、別の学年分のデータでテストすることで、データ分布のシフトに対しての頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 実際の初心者プログラミング行動に基づいて学習したデータ駆動型モデルは、制約ベースのエラー局所化手法を上回り、型エラーの真の原因を特定する能力に優れているか？
• RQ2 親および子式の文脈的特徴を含めることで、孤立した式特徴に比べて、エラー局所化の精度がどの程度向上するか？
• RQ3 1つのグループの初心者プログラマーのデータで学習したモデルが、別の学期の異なるグループのプログラマーにどの程度一般化できるか？
• RQ4 実際に修正履歴から学ぶデータ駆動型アプローチは、熟練者によって設計されたヒューリスティクスに内在するバイアスを低減するか？
• RQ5 1つのコースのデータで学習したモデルは、膨大な手動ラベル付きデータセットを必要とせず、高い精度を達成できるか？

主な発見

• トップランクの責任割り当てのみを考慮した場合、Nateは正確に変更すべき部分式を特定する精度が72%に達し、OCamlを28ポイント、SHErrLocを16ポイント上回る。
• トップ2の責任位置を考慮すると、Nateの精度は85%に達し、トップ3では91%に達する。これは複数候補にわたる強力な再現性を示している。
• 1つの学年分のデータで学習したモデルが、他の学年分のプログラムに良好に一般化する。これは、データ分布のシフトに対して頑健であり、異なる学生グループへの実用的適用可能性を示している。
• 特に、式の親および子式からの特徴を追加することで、最先端のSHErrLocを16ポイント上回る。これは構造的文脈の重要性を強調している。
• 孤立した式特徴のみに依存するモデルは記号的アプローチに劣るが、型エラースライス特徴を統合することで最先端の性能に達し、さらなる文脈的特徴統合によりそれを上回る。
• 本アプローチは、実際の初心者エラーのパターンから学習するデータ駆動型モデルが、熟練者によるハードコードされたヒューリスティクスよりも、実際のプログラミングミスに適応して効果的に機能でき、エラー局所化におけるバイアスを低減できることを示している。