[論文レビュー] Neurosymbolic Repair for Low-Code Formula Languages

Rohan Bavishi, Harshit Joshi+6 more|arXiv (Cornell University)|Jul 24, 2022

Software Engineering Research被引用数 5

ひとこと要約

LaMirage は、Excel や PowerFx などの低コード式言語における構文エラーと意味的エラーを効率的に修正するため、記号的修復生成とニューラルエラー局所化・ランク付けを組み合わせた神経記号的フレームワークである。文法的およびドメイン制約を活用することで、400件の実世界の式において、最先端の記号的およびニューラルベースラインを上回る正確な修復を生成する。

ABSTRACT

Most users of low-code platforms, such as Excel and PowerApps, write programs in domain-specific formula languages to carry out nontrivial tasks. Often users can write most of the program they want, but introduce small mistakes that yield broken formulas. These mistakes, which can be both syntactic and semantic, are hard for low-code users to identify and fix, even though they can be resolved with just a few edits. We formalize the problem of producing such edits as the last-mile repair problem. To address this problem, we developed LaMirage, a LAst-MIle RepAir-engine GEnerator that combines symbolic and neural techniques to perform last-mile repair in low-code formula languages. LaMirage takes a grammar and a set of domain-specific constraints/rules, which jointly approximate the target language, and uses these to generate a repair engine that can fix formulas in that language. To tackle the challenges of localizing the errors and ranking the candidate repairs, LaMirage leverages neural techniques, whereas it relies on symbolic methods to generate candidate repairs. This combination allows LaMirage to find repairs that satisfy the provided grammar and constraints, and then pick the most natural repair. We compare LaMirage to state-of-the-art neural and symbolic approaches on 400 real Excel and PowerFx formulas, where LaMirage outperforms all baselines. We release these benchmarks to encourage subsequent work in low-code domains.

研究の動機と目的

• 低コードプラットフォームにおける「最後のマイル修復」問題に対処すること。具体的には、Excel や PowerApps のような式言語でユーザーが行う、小さな、検出が難しいエラーを対象とする。
• エラーの報告がしばしば役に立たない状況を改善し、文脈に即した正確な修復提案を提供することで、ユーザー体験を向上させること。
• 文法的およびドメイン固有の制約を用いて、さまざまな低コード式言語に適応可能な修復エンジン生成ツールを開発すること。
• 伝統的なプログラマーが得られるフィードバックと同等のフィードバックを提供することで、低コード開発者のためのツールチェインのギャップを埋めること。

提案手法

• LaMirage は、形式的文法とドメイン制約に従って、構文的にも意味的にも妥当な修復候補を生成する記号的フレームワークを採用している。
• 不具合のある式における最も可能性の高いエラー場所を特定するために、ニューラル局所化器を採用しており、記号的トラッキングとニューラル予測を組み合わせたフォールバック戦略を用いている。
• バランスの取れた反復的分類ベースの学習目的を用いて、ニューラルランカーが候補修復を評価し、自然な修復を予測する。これにより、偏ったトークンシーケンスに起因する問題を克服できる。
• 正しさと効率性を保証するために、ニューラルコンponentを記号的修復生成パイプラインに統合している。
• ヘルプフォーラムデータと製品テレメトリを組み合わせて学習しており、低コードドメインに特化した小規模で効率的なモデルを用いている。
• フレームワークは修復エンジン生成器として設計されており、最小限の再設定で複数の低コードプラットフォームに展開可能である。

実験結果

リサーチクエスチョン

• RQ1 神経記号的アプローチは、高い正確性と低い計算コストを実現しながら、低コード式エラーの局所化と修復ランク付けを効果的に実行できるか？
• RQ2 記号的修復生成とニューラルエラー局所化・ランク付けを組み合わせることで、純記号的または純ニューラル手法と比較して、修復品質がどのように向上するか？
• RQ3 偏ったおよび信頼性の低いトレーニングデータを前提とした場合、低コード修復におけるニューラルコンponentに有効なトレーニング戦略は何か？
• RQ4 文法的および制約条件を用いることで、1つのフレームワークが複数の低コード式言語にどれほど一般化可能か？
• RQ5 記号的およびニューラルコンponent間のフォールバック戦略が、探索空間のサイズと修復カバレッジにどのように影響を与えるか？

主な発見

• LaMirage は、400件の実世界の Excel および PowerFx の式において、最先端の記号的およびニューラルベースラインを上回り、優れた修復正確性を示した。
• ニューラルランカーにバランスの取れた学習目的と分類ベースの損失を用いることで、標準的な因果的言語モデルと比較して、修復ランク付け性能が顕著に向上した。
• フォールバック戦略（記号的トラッキングに失敗した場合にのみニューラル局所化を使用）により、探索空間のサイズを管理可能に保ちながら、修復カバレッジを向上させた。
• 小規模で効率的なニューラルモデルを用いることで、生産環境の低コードプラットフォームへの実装に実用的であることが確認された。
• アブレーションスタディーにより、ニューラル局所化器とランカーの両方が全体のパフォーマンスに有意に寄与しており、記号的コアが正しさを保証していることが確認された。
• 著者らは、実際の不具合のある式と正しい修復を含む2つのベンチマークデータセットを公開し、今後の低コード修復分野の研究を可能にした。