[論文レビュー] Non-autoregressive Model for Full-line Code Completion

Fang Liu, Zhiyi Fu+4 more|arXiv (Cornell University)|Apr 21, 2022

Software Engineering Research被引用数 4

ひとこと要約

本稿では、全行コード補完のための構文に配慮した非自己回帰的モデルSANARを提案する。このモデルは並列的なトークン生成を可能とし、自己回帰的モデルに比べ最大9倍の高速な推論を達成するとともに、PythonおよびJavaのデータセットにおいて自己回帰的および非自己回帰的ベースラインを上回る性能を示す。モデルは、左から右への自己回帰的生成に依存せずに、トレーニング段階で動的に構文に配慮したサンプリング戦略を用いることで性能を向上させる。

ABSTRACT

Code completion tools are frequently used by software developers to accelerate software development by suggesting the following code elements. Completing a sequence of code tokens (e.g., a full line of code) has been proved more efficient than predicting a single token at a time. To complete the code sequence, researchers are employing AutoRegressive (AR) decoders to generate tokens in a left-to-right, token-by-token fashion. Consequently, the prediction of the next token depends on all previously generated tokens, which leads to high latency in inference. To improve the efficiency and accuracy of full-line code completion, in this paper, we propose a Non-AutoRegressive (NAR) model for code completion boosted by a syntax-aware sampling strategy. Our experimental results on two widely used datasets suggest that our model outperforms both AR and NAR baselines on full-line code completion, and it is faster than the AR model with up to 9 times speed-up.

研究の動機と目的

• 自己回帰的モデルの高い推論遅延を解消するため、並列的なトークン生成を可能とする。
• 自然言語生成とは異なり、コードトークンの依存関係が弱いため、非自己回帰的生成が可能かどうかを調査する。
• 構文タイプと難易度に基づいて動的にトークンをサンプリングするトレーニング戦略を設計し、非自己回帰的コード補完の性能を向上させる。
• 非自己回帰的モデルがコード補完に効果的に適用可能であることを示し、従来の手法よりも高い速度とより優れた精度を達成することを実証する。

提案手法

• すべてのターゲットトークンを並列に生成する非自己回帰的Transformerベースのモデル（SANAR）を提案する。これにより、自己回帰的依存関係を回避する。
• トレーニング段階でトークンのマスキングと再生成に使用するトークンを選択する際、トークンタイプと予測信頼度に基づいて動的に選択する構文に配慮したサンプリング戦略を導入する。
• 左から右への自己回帰的インダクティブバイアスへの依存を軽減する微分可能で適応的なサンプリングメカニズムを採用し、トレーニングの安定性と性能を向上させる。
• 全コードラインを1回の順方向プロパゲーションで生成するワンパス推論プロセスを採用し、遅延を顕著に低減する。
• トレーニング段階で条件付き独立性の要因分解を適用する：$\mathcal{L}_{NAR} = \sum_{t=1}^{T} \log p(y_t|X;\theta)$。これにより、並列デコードが可能になる。
• NMTで用いられる反復的改善技術（例：CMLM）を応用し、トレーニング段階で信頼度が低いトークンの予測を段階的に改善する。

実験結果

リサーチクエスチョン

• RQ1 自然言語生成とは異なり、コードトークン同士の依存関係が弱いため、非自己回帰的生成が可能かどうか。
• RQ2 非自己回帰的モデルが、全行コード補完において自己回帰的モデルと同等またはそれ以上の性能を達成できるか。
• RQ3 トレーニング段階で構文に配慮した適応的サンプリング戦略を採用することで、非自己回帰的コード補完モデルの性能が向上するか。
• RQ4 非自己回帰的コード補完におけるトークンの繰り返し率は、ニューラル機械翻訳（NMT）と比較してどの程度か。また、モデル品質に影響を与えるか。
• RQ5 非自己回帰的モデルが、精度を損なわずにコード補完タスクで顕著な高速化を達成できるか。

主な発見

• SANARは、PythonおよびJavaの全行コード補完において、自己回帰的および非自己回帰的ベースラインを上回り、優れた精度を示す。
• 自己回帰的モデルに比べ、最大9倍の高速な推論を達成し、平均して5〜6倍の高速化を実現する。特に長いコードラインにおいて顕著な恩恵を受ける。
• 構文に配慮したサンプリング戦略は、ランダムマスキング（GLAT）よりも性能が高く、サンプリング率を増加させても性能の低下が抑えられている。これは、効果的なトークン選択が可能であることを示している。
• SANARにおけるトークンの繰り返し率は、自己回帰的モデルと顕著に差がない。これは、コードにおけるトークン間の依存関係がNMTよりも弱いことを示唆している。
• 実証的分析により、コードトークンの依存関係は自然言語よりも弱く、非自己回帰的コード生成が実現可能であることが裏付けられた。
• 左から右への順序ではなく右から左への順序でも、性能に差がなく、コード補完において左から右の順序が必須ではないことが示された。