[論文レビュー] CodePAD: Sequence-based Code Generation with Pushdown Automaton

Yihong Dong, Xue Jiang+3 more|arXiv (Cornell University)|Nov 2, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、コード生成中に文法的正しさを保証するためにプッシュダウンオートマトン（PDA）モジュールを統合する、シーケンスベースのコード生成フレームワークCodePADを提案する。PDA状態表現と状態を併用した予測を活用することで、ベンチマークデータセット上で100%の文法的正しさを達成し、ベースモデルやCodeGen-350Mのような事前学習モデルと比較して、CodeBLEUとEMスコアを顕著に向上させる。

ABSTRACT

In the process of code generation, it is essential to guarantee the generated code satisfies grammar constraints of programming language (PL). However, neglecting grammar constraints is a fatal drawback of commonly used sequence-based code generation. In this paper, we devise a pushdown automaton (PDA)-based methodology to address this problem, exploiting the principle that PL is a subset of PDA recognizable language and code accepted by PDA is grammatical. Specifically, we construct a PDA module and design an algorithm to constrain the generation of sequence-based models to ensure grammatical correctness. Guided by this methodology, we further propose CodePAD, a sequence-based code generation framework equipped with a PDA module, to integrate the deduction of PDA into deep learning. Additionally, this framework can leverage states of PDA deduction (including state representation, state prediction task, and joint prediction with state) to assist models in learning PDA deduction. To comprehensively evaluate CodePAD, we construct a PDA for Python and conduct extensive experiments on four public benchmark datasets. CodePAD can leverage existing sequence-based models, and we show that it can achieve 100\% grammatical correctness percentage on these benchmark datasets. Thus, it relatively improve 17\% CodeBLEU on CONALA, 8\% EM on DJANGO, and 15\% CodeBLEU on JUICE-10K compared to base models. In addition, our method significantly enhances pre-trained models, e.g., CodeBLEU of CodeGen-350M improvement from 3.21 to 21.54 on MBPP in zero-shot setting.

研究の動機と目的

• シーケンスベースのコード生成モデルが、強力な意味的性能を示しても文法的に誤ったコードを生成するという、顕著な限界を是正すること。
• 高価なパースやASTベースのアプローチに依存せずに、コード生成中に文法的正しさを保証する手法を開発すること。
• PDAに基づく文法的制約をシーケンスモデルに統合しながら、現実世界の応用（例：コード補完）における効率性と柔軟性を維持すること。
• PDA状態表現、状態予測、および共同予測の有効性が、コード生成品質に与える寄与を評価すること。

提案手法

• プログラミング言語（例：Python）の文法をプッシュダウンオートマトンとしてモデル化するPDAモジュールを設計し、有効なコードシーケンスの認識を可能にする。
• 生成中にPDAの帰納をシミュレートするアルゴリズムを開発し、現在のPDA状態が認識する有効な端末記号集合からのみ次のトークンを選択するように保証する。
• PDA状態をモデルの隠れ空間に埋め込むための状態表現を導入し、アテンション機構を用いたエンドツーエンド学習を可能にする。
• 2つの損失をバランスさせるための学習可能係数αを用いて、次のトークンと次のPDA状態の共同予測を目的としたマルチタスク学習を実施する。
• 推論時にPDA状態の制約を適用したビームサーチを用い、文法的に有効なシーケンスのみを生成するように保証する。
• PDAの受容状態集合を活用して、有効で完全なコードシーケンスが生成された場合にのみ生成を終了する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 事前学習を行わない、文法的正しさを保証する最新のツリー基盤の手法と比較して、CodePADはどの程度の性能を発揮するか。
• RQ2 RQ2: PDAベースの手法の各構成要素（状態表現、状態予測、共同予測）が全体の性能に与える寄与は何か。
• RQ3 RQ3: PDAモジュールは、CodeGen や CodeT5 のような事前学習済みシーケンスベースのモデルの有効性をどのように向上させるか。
• RQ4 RQ4: PDAモジュールは、推論時にCodePADが文法的に正しいコードを生成するのをどのように支援するか。

主な発見

• CodePADは、4つのベンチマークデータセットすべてで100%の文法的正しさを達成し、生成コードにおける構文エラーを完全に排除した。
• CONALAデータセットでは、ベースモデルと比較してCodeBLEUが17%向上した。DJANGOでは、EMスコアが8%向上した。
• MBPPベンチマークでは、Fine-tuningを適用したCodePADを用いることで、ゼロショット設定下でCodeGen-350MのCodeBLEUスコアが3.21から21.54に上昇した。
• 損失重み付けの最適なハイパーパrameter α は、LSTMベースのCodePADでは1.0であることが判明した。Transformerベースのモデルではデータセットごとに異なる値を示しており、状態予測タスクの強力な有効性が裏付けられた。
• CONALAにおけるコンパイル成功率は99.2%に達し、大多数のコンパイルエラーは構文エラーではなく意味的または型の不一致に起因していた。これは、文法的正しさがコンパイルに向けた堅実な基盤であることを示している。
• PDAモジュールにより、不完全なコードの完全なパースを要しない、効率的でリアルタイムの文法的検証が可能となり、トークン単位の試行錯誤による高コストな処理を回避できた。