[論文レビュー] Exploring Dynamic Selection of Branch Expansion Orders for Code Generation

Hui Jiang, Chulun Zhou+6 more|arXiv (Cornell University)|Jun 1, 2021

Software Engineering Research参考文献 30被引用数 5

ひとこと要約

本論文は、損失差の観点から分岐順序を最適化する強化学習を用いて、コード生成における多分岐ノードの最適な展開順序を動的に決定する文脈に配慮した分岐選択肢を提案する。この手法により、誤差の蓄積を低減し、複数のコード生成ベンチマークで最先端の性能を達成するSeq2Treeモデルの性能が向上する。

ABSTRACT

Due to the great potential in facilitating software development, code generation has attracted increasing attention recently. Generally, dominant models are Seq2Tree models, which convert the input natural language description into a sequence of tree-construction actions corresponding to the pre-order traversal of an Abstract Syntax Tree (AST). However, such a traversal order may not be suitable for handling all multi-branch nodes. In this paper, we propose to equip the Seq2Tree model with a context-based Branch Selector, which is able to dynamically determine optimal expansion orders of branches for multi-branch nodes. Particularly, since the selection of expansion orders is a non-differentiable multi-step operation, we optimize the selector through reinforcement learning, and formulate the reward function as the difference of model losses obtained through different expansion orders. Experimental results and in-depth analysis on several commonly-used datasets demonstrate the effectiveness and generality of our approach. We have released our code at https://github.com/DeepLearnXMU/CG-RL.

研究の動機と目的

• コード生成のSeq2Treeモデルにおける固定された左から右への分岐展開の制限を解決すること。
• 動的で文脈依存的な分岐順序がコード生成性能を向上させられるかどうかを調査すること。
• 既存のSeq2Treeフレームワークと互換性がある、学習可能な非微分可能な分岐選択メカニズムを開発すること。
• 本手法の汎用性と有効性を複数のコード生成データセットにわたって実証すること。

提案手法

• 生成中に多分岐ASTノードの最適な展開順序を予測する文脈ベースの分岐選択肢を導入すること。
• 代替的な展開順序間のモデル損失の差を報酬とする強化学習を用いて、学習目的を定式化すること。
• 方策勾配法を用いて分岐選択肢を最適化し、行動順序の非微分性にもかかわらずエンドツーエンドの学習を可能にすること。
• 分岐選択肢をTRANXモデルアーキテクチャに統合し、前順走査を維持しながら、兄弟分岐の動的再順序化を可能にすること。
• 異なる展開シーケンスにおけるモデル損失の比較から得られる報酬信号を用いて、コード生成データセットで拡張モデルを学習すること。
• 一般化と生成品質の向上を図るため、推論時にカリキュラム学習とビームサーチを適用すること。

実験結果

リサーチクエスチョン

• RQ1 固定された左から右への展開順序と比較して、動的分岐展開順の選択はコード生成性能を向上させるか？
• RQ2 文脈に配慮した分岐選択肢は、多分岐ASTノードの最適な展開シーケンスを効果的に特定できるか？
• RQ3 標準的なコード生成ベンチマークにおいて、本手法はベースラインのSeq2Treeモデルを上回るか？
• RQ4 動的順序付けはAST生成における誤差伝搬をどの程度低減するか？
• RQ5 本手法は、異なるコード生成データセットおよびアーキテクチャに一般化可能か？

主な発見

• 提案手法は、右から左へのベースライン（TRANX-R2L）と比較して、多分岐ノードの処理で7.66%の向上を達成し、動的選択の利点を示している。
• DJANGOデータセットでは、短い部分木を早期に生成することで誤差蓄積を低減し、後続ノードの予測正確性が向上している。
• 分岐選択肢は文脈依存の最適順序を的確に特定しており、たとえば「name」フィールドを優先することで、その後の「type」フィールド予測に情報を供給している。
• 複数のデータセットで標準的なSeq2Treeベースラインを上回り、BLEUおよびCodeBLEUスコアで統計的に有意な向上を示している。
• アブレーションスタディにより、強化学習に基づく報酬メカニズムが効果的な分岐順序付けに不可欠であることが確認された。
• 本手法は一般化性に優れており、多様なコード生成タスクおよびデータセットで一貫した改善を示している。