[論文レビュー] Don't Panic! Better, Fewer, Syntax Errors for LR Parsers

Lukas Diekmann, Laurence Tratt|arXiv (Cornell University)|Apr 19, 2018

Software Engineering Research被引用数 3

ひとこと要約

この論文は、構文エラーの完全な最小コスト修復シーケンスを報告する新規のエラーリカバリアルゴリズム CPCT+ を導入しており、スパイラルエラーの大幅な低減を実現している。20万件の実世界のJavaファイルを対象に評価した結果、CPCT+ は0.5秒以内に98.37%のエラーを修復し、パニックモードと比較して報告されたエラー場所を981,628件から435,812件に削減した。これにより、開発者が意図に即した修復オプションを的確に選択できるようになる。

ABSTRACT

Syntax errors are generally easy to fix for humans, but not for parsers in general nor LR parsers in particular. Traditional 'panic mode' error recovery, though easy to implement and applicable to any grammar, often leads to a cascading chain of errors that drown out the original. More advanced error recovery techniques suffer less from this problem but have seen little practical use because their typical performance was seen as poor, their worst case unbounded, and the repairs they reported arbitrary. In this paper we introduce the CPCT+ algorithm, and an implementation of that algorithm, that address these issues. First, CPCT+ reports the complete set of minimum cost repair sequences for a given location, allowing programmers to select the one that best fits their intention. Second, on a corpus of 200,000 real-world syntactically invalid Java programs, CPCT+ is able to repair 98.37% of files within a timeout of 0.5s. Finally, CPCT+ uses the complete set of minimum cost repair sequences to reduce the cascading error problem, where incorrect error recovery causes further spurious syntax errors to be identified. Across the test corpus, CPCT+ reports 435,812 error locations to the user, reducing the cascading error problem substantially relative to the 981,628 error locations reported by panic mode.

研究の動機と目的

• LRパーサーにおけるスパイラルエラー問題に取り組むこと、すなわち、初期のエラーリカバリが複数の誤ったエラーを引き起こすことを防ぐこと。
• 単一の任意の修復ではなく、特定のエラー場所に対してすべての最小コスト修復シーケンスを提供することにより、開発者に選択肢を提供すること。
• 高パフォーマンスと文法に依存しない決定論的な修復提案を組み合わせることで、高度なエラーリカバリの実用的利便性を向上させること。
• コンパイラやIDEで一般的に使われるヒューリスティック的または特例的なエラーリカバリメカニズムへの依存を減らすこと。

提案手法

• CPCT+ は、Fischer らのエラーリカバリアルゴリズム族を拡張し、動的計画法を用いて最小コスト修復シーケンスの完全な集合を計算する。文法に依存するトークンの挿入・削除操作を用いる。
• 最小限の変更を優先するコストモデルに従い、複数の解析状態と修復を並列に追跡する修正済みLRパーサーエンジンを用いる。
• 文法の完全な情報を活用して、各エラー場所におけるすべての可能な最小コスト修復（挿入、削除）を探索し、任意または劣化した選択を回避する。
• 実用的なパフォーマンスを確保するためのタイムアウト機構を導入。有望な修復を優先し、探索空間を短縮するためのヒューリスティクスを用いる。
• 実装は grmtools パーサーフレームワークに統合され、実用的利用を可能にする nimbleparse ツールを通じて公開されている。
• 入力文法と入力ストリームのみに依存するため、文法に依存しない設計であり、Java、Lua、PHP などの複数言語をサポートする。

実験結果

リサーチクエスチョン

• RQ1 文法に依存しないエラーリカバリアルゴリズムは、特定のエラー場所に対してすべての最小コスト修復シーケンスを報告できるか。これにより、開発者は最も意味的に適切な修正を選択できるか。
• RQ2 複数の修復オプションを報告することで、従来のパニックモードリカバリーよりもスパイラルエラーの数を顕著に減らせるか。
• RQ3 このようなアルゴリズムは、現実的で複雑なプログラムにおいても、正しく完全に動作しながら、0.5秒未満の高速なパフォーマンスを達成できるか。
• RQ4 特に大規模プログラムにおいて、最小修復の完全な集合を計算・返却することが実用的に可能か。

主な発見

• CPCT+ は、20万件の実世界の構文エラーを含むJavaプログラムのうち、0.5秒のタイムアウト内に98.37% ± 0.017%を修復した。
• アルゴリズムにより、パニックモードと比較して報告されたエラー場所の数が981,628件から435,812件に削減され、スパイラルエラー問題が顕著に緩和された。
• 各エラーに対して、CPCT+ はすべての最小コスト修復シーケンス（たとえば、トークンの削除、コロンの挿入、代入演算子の挿入など）を報告し、開発者が最も意味的に適切な修正を選択できる。
• 実用的かつスケーラブルなアプローチであり、コンパイラやIDEへの統合に適したパフォーマンスプロファイルを有する。
• 文法に依存せず、Java、Lua、PHP など複数言語で動作し、広範な適用可能性を示した。
• 高レベルの曖昧性や過度な修復コストが生じる場合には、CPCT+ は正しくタイムアウトし、修復シーケンスを報告しない。これにより、誤った提案を避ける。