[論文レビュー] A Linter for Isabelle: Implementation and Evaluation

Yecine Megdiche, Fabian Huch+1 more|arXiv (Cornell University)|Jul 21, 2022

Software Engineering Research被引用数 4

ひとこと要約

本論文では、形式的定義におけるアンチパターンを自動で検出するIsabelle/HOL用のリントツールを提示する。このツールはIsabelle/jEditと統合されており、コマンドラインインターフェースも提供する。Archive of Formal Proofsにおいて59,573件の問題を特定したが、高深刻度のリントは保守性の問題と強く相関しており、ユーザースタディーの結果、リアルタイムでのリントが60%のユーザーの修正時間を1分未塔に短縮したほか、コード品質と満足度の向上を実証した。

ABSTRACT

In interactive theorem proving, formalization quality is a key factor for maintainability and re-usability of developments and can also impact proof-checking performance. Commonly, anti-patterns that cause quality issues are known to experienced users. However, in many theorem prover systems, there are no automatic tools to check for their presence and make less experienced users aware of them. We attempt to fill this gap in the Isabelle environment by developing a linter as a publicly available add-on component. The linter offers basic configurability, extensibility, Isabelle/jEdit integration, and a standalone command-line tool. We uncovered 480 potential problems in Isabelle/HOL, 14016 in other formalizations of the Isabelle distribution, and an astonishing 59573 in the AFP. With a specific lint bundle for AFP submissions, we found that submission guidelines were violated in 1595 cases. We set out to alleviate problems in Isabelle/HOL and solved 168 of them so far; we found that high-severity lints corresponded to actual problems most of the time, individual users often made the same mistakes in many places, and that solving those problems retrospectively amounts to a substantial amount of work. In contrast, solving these problems interactively for new developments usually incurs only little overhead, as we found in a quantitative user survey with 22 participants (less than a minute for more than 60% of participants). We also found that a good explanation of problems is key to the users' ease of solving these problems (correlation coefficient 0.48), and their satisfaction with the end result (correlation coefficient 0.62).

研究の動機と目的

• Isabelleにおける低品質な形式的定義パターンを自動で検出するツールの不足が、保守性、再利用性、パフォーマンスに悪影響を及えるという問題に対処すること。
• applyスクリプトの過剰使用や複雑な初期メソッドといった一般的なアンチパターンを特定・警告することで、Isabelle/HOLにおけるコード品質を向上させること。
• 定量的分析とユーザースタディーを通じて、リントツールの開発者生産性、コード品質、ユーザ満足度への影響を評価すること。
• CI/CDパイプラインやIDEへの統合を可能にし、特にAFPのような大規模プロジェクトにおいて、高品質な形式的定義基準を支援すること。

提案手法

• リントツールはIsabelle用のスタンドアロン拡張モジュールとして実装されており、Isabelle/jEditおよびコマンドラインインターフェースをサポートしている。
• 23の設定可能なチェックを用いて、Isar理論ファイルに対する静的解析を実施しており、主にGerwinのIsabelle/HOLスタイルガイドから抽出されたものである。
• 外側構文と構造を分析することで、長大なapplyスクリプト、不要なauto呼び出し、過度に複雑な初期メソッドといった問題パターンを検出する。
• 保守性やパフォーマンスへの影響に基づいて、リント深刻度レベル（info、warning、error）を割り当てる。
• Isabelleディストリビューション、Isabelle/HOL、Archive of Formal Proofs（AFP）を対象に評価を行い、168件の問題について手動での修正を実施した。
• 22名の参加者を対象としたユーザースタディーで、リントの修正に要する時間、満足度、リント説明の理解度を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 高深刻度のリントの背後にある問題が明確に説明された場合、新規ユーザーはそれらの問題を理解できるか？
• RQ2 RQ2: リントツールはユーザーが問題を修正する動機づけに効果的か？ また、新規コードとレガシーコードにおける修正時間に差は生じるか？
• RQ3 RQ3: リントツールは証明チェックのパフォーマンスに影響を与えるか？ また、リアルタイムフィードバックはユーザーの生産性とコード品質に向上をもたらすか？
• RQ4 RQ4: 大規模なIsabelle形式的定義（例：AFPおよびIsabelleディストリビューション）において、アンチパターンの発生頻度と深刻度の分布はいかほどか？

主な発見

• Archive of Formal Proofsでは59,573件のリント問題を検出。Isabelle/HOLでは480件、その他のIsabelleディストリビューション形式的定義では14,016件であった。
• 高深刻度のリント（長大なapplyスクリプト、複雑な初期メソッドなど）は、AFPのコードラインの54％に見られ、保守性リスクが広範にわたることを示している。
• ユーザースタディーの結果、参加者の60％が1分未塔でリントを修正した。また、最終コードに対する満足度は、リント説明の明確さと強く相関していた（r = 0.62）。
• レガシーコードにおけるリントの平均修正時間は、新規開発の10倍以上に上昇しており、事前リントの価値が顕著に示された。
• リントツールは証明チェックに測定可能なパフォーマンス影響を及ぼさず、修正後、ユーザーはコードの可読性と保守性の向上を報告した。
• ツールは繰り返し発生するアンチパターン（例：構造化証明における不要な簡約器呼び出し）を効果的に特定できており、個々の著作者による繰り返しの傾向も明らかになった。