[論文レビュー] A Survey on Natural Language Processing for Programming

Qingfu Zhu, Xianzhen Luo+3 more|arXiv (Cornell University)|Dec 12, 2022

Software Engineering Research被引用数 4

ひとこと要約

本サーベイは、プログラミング言語の2つの根幹的特性である構造志向的および機能志向的特性に着目し、自然言語処理 for プログラミング（NLP4P）を体系的にレビューする。この2つの特性がタスク、データセット、評価手法、技術、最先端モデルにどのように影響を与えるかを分析し、現在のプログラム理解および生成の限界を克服するため、反復的で多言語的かつマルチモーダルなNLP4Pの今後の方向性を提案する。

ABSTRACT

Natural language processing for programming aims to use NLP techniques to assist programming. It is increasingly prevalent for its effectiveness in improving productivity. Distinct from natural language, a programming language is highly structured and functional. Constructing a structure-based representation and a functionality-oriented algorithm is at the heart of program understanding and generation. In this paper, we conduct a systematic review covering tasks, datasets, evaluation methods, techniques, and models from the perspective of the structure-based and functionality-oriented property, aiming to understand the role of the two properties in each component. Based on the analysis, we illustrate unexplored areas and suggest potential directions for future work.

研究の動機と目的

• プログラム理解および生成の根幹をなす、プログラミング言語の二重の内在的特性（構造志向的および機能志向的）を特定し、分析すること。
• この二つの特性を軸に、タスク、データセット、評価手法、技術、モデルの各分野において、既存のNLP4P研究を体系的にレビューすること。
• 未解明の研究分野を特定し、反復的で多言語的かつマルチモーダルなNLP4Pを含む今後の方向性を提案すること。
• 構造志向的モデリングがモデルアーキテクチャにおいて果たす役割と、機能志向的設計が評価および生成において果たす役割を明確にすること。
• プログラミング言語の基本的特性とNLP4Pのコンponentsを整合させることで、今後の研究のための構造的フレームワークを提供すること。

提案手法

• 入出力の意味的特性およびプログラミング言語構造の果たす役割に基づき、NLP4Pタスクを構造志向的（例：要約、検索、分類）と機能志向的（例：プログラム合成、コード補完）に分類すること。
• 構造と機能の二重の視点からデータセットおよび評価手法を分析し、構造的表現と機能的正しさがデータおよびメトリクスにどのように影響を与えるかを強調すること。
• 技術およびモデルをサーベイし、バックボーンアーキテクチャ（例：木ベース、グラフベース）が構造モデリングをどのように支援するか、およびデコード戦略とテストフィードバックが機能的正しさをどのように支援するかに焦点を当てる。
• 最先端モデルを検討し、ASTやコード埋め込み表現といった構造志向的表現、テストフィードバックや実行精度に基づく訓練といった機能志向的訓練が、どのようにプログラム理解および生成に活用されているかを同定すること。
• 現在のパラダイムを拡張することで、今後の研究方向性を提案する：履歴的文脈を活用する反復的NLP4P、低リソース言語を想定した多言語的NLP4P、視覚言語事前学習を活用するマルチモーダルNLP4P。
• 体系的レビューの枠組みを用い、既存の研究を二つの特性にマッピングし、モデリング、データ、評価におけるギャップを同定すること。

実験結果

リサーチクエスチョン

• RQ1 プログラミング言語の構造志向的および機能志向的特性は、NLP4Pタスクの設計にどのように影響を与えるか？
• RQ2 現在のデータセットおよび評価手法は、プログラミング言語の構造的および機能的特性をどの程度反映しているか？
• RQ3 最先端モデルは、構造志向的表現と機能志向的訓練をどのように活用して、プログラム理解および生成を実現しているか？
• RQ4 現在のNLP4Pアプローチにおける主な限界は、履歴的文脈、低リソース言語、マルチモーダル入力に関連してどのような点にあるか？
• RQ5 反復的開発、多言語学習、マルチモーダル理解をNLP4Pに統合することで、どのような今後の研究方向性が生じ得るか？

主な発見

• 構造志向的特性は、モデルアーキテクチャおよび表現学習の中心的役割を果たしており、木ベースおよびグラフベースのモデルがプログラムの構文および意味を捉える上で優れた性能を示している。
• 機能志向的特性は評価において極めて重要であり、モデルが機能的に正しいプログラムを生成できることを保証する必要がある。テストフィードバックは一般化性能および正しさを著しく向上させる。
• 現在のモデルはしばしば履歴的文脈を無視しており、再作業が冗長に発生する。過去のバージョンやエラーのフィードバックを活用する反復的NLP4Pは有望だが、未だ十分に検討されていない分野である。
• 多言語的NLP4Pは、データの不均衡によって制限されており、Rubyのような低リソース言語では性能が劣る。多言語事前学習は、翻訳に起因する誤りの連鎖的拡大を低減するスケーラブルな解決策を提供する。
• マルチモーダルNLP4Pはまだ始まったばかりであり、現時点ではデータセットが存在しない。既存のマルチモーダルデータに対して、事前学習済みの視覚言語モデル（例：CLIP、Flamingo）を活用することで、図解的または視覚的プログラム要件の理解を向上させることができる。
• 英語およびPythonやJavaといった主要言語では高い性能を発揮しているが、低リソースプログラミング言語および自然言語ペairは依然として十分にカバーされておらず、アクセシビリティおよび公平性の観点から顕著なギャップが存在する。