[論文レビュー] Automatic Code Documentation Generation Using GPT-3

Junaed Younus Khan, Gias Uddin|arXiv (Cornell University)|Sep 6, 2022

Machine Learning and Data Classification被引用数 7

ひとこと要約

この論文は、コードと自然言語で微調整されたGPT-3ベースのモデルであるCodexが、6つのプログラミング言語において自動コードドキュメンテーション生成にどの程度効果的であるかを評価している。1ショットプロンプティングのみを用いても、CodexはBLEUスコア20.6を達成し、このタスクにおいて従来の最先端手法よりも11.2%顕著に優れており、コードドキュメンテーションにおける強力なゼロショットおよびフェイワショット一般化能力を示している。

ABSTRACT

Source code documentation is an important artifact for efficient software development. Code documentation could greatly benefit from automation since manual documentation is often labouring, resource and time-intensive. In this paper, we employed Codex for automatic code documentation creation. Codex is a GPT-3 based model pre-trained on both natural and programming languages. We find that Codex outperforms existing techniques even with basic settings like one-shot learning (i.e., providing only one example for training). Codex achieves an overall BLEU score of 20.6 for six different programming languages (11.2% improvement over earlier state-of-the-art techniques). Thus, Codex shows promise and warrants in-depth future studies for automatic code documentation generation to support diverse development tasks.

研究の動機と目的

• 微調整を施さずに、Codex（GPT-3ベースのモデル）がコードドキュメンテーション生成にどの程度効果的であるかを調査すること。
• 自動コードドキュメンテーション生成におけるCodexのパフォーマンスを、既存の最先端モデルと比較すること。
• 自動評価指標（BLEU）と人間が読みやすい例を用いて、生成されたドキュメンテーションの質を評価すること。
• コードドキュメンテーションタスクにおけるフェイワショットおよびゼロショットプロンプティングの可能性を調査すること。

提案手法

• コードドキュメンテーション生成に、多様なプログラミング言語および自然言語データで事前学習されたGPT-3ベースのモデルであるCodexが使用された。
• モデルは1ショット学習を用いてプロンプトされた。これは、生成を導くために1つのコード-ドキュメンテーションペア例を提供した。
• 評価は、Python、Java、PHP、Go、JavaScript、Rubyの6つのプログラミング言語をカバーするCodeSearchNetデータセットを用いて実施された。
• 生成されたドキュメンテーションは、実際の人が書いたドキュメンテーションとの自動指標比較のため、BLEUスコアで評価された。
• 研究では、生成されたドキュメンテーションの質的分析も行われ、正解ドキュメンテーションとの明確さと完全性を比較した。
• パラメータ設定は、公式OpenAIドキュメンテーションに基づき選定され、モデルの微調整は一切行われなかった。

実験結果

リサーチクエスチョン

• RQ1 Codexは、微調整を施さずに1ショットプロンプティングのみで高品質なコードドキュメンテーションを生成できるか？
• RQ2 Codexのコードドキュメンテーション生成におけるパフォーマンスは、CodeBERT、PLBART、CoTexTといった既存の最先端モデルと比べてどうか？
• RQ3 フェイワショットプロンプティングは、生成ドキュメンテーションの質と一貫性にどのような影響を与えるか？
• RQ4 Codexが生成したドキュメンテーションは、人間が書いたドキュメンテーションと比べて明確さと完全性の点でどう異なるか？
• RQ5 実際のソフトウェア工学の現場において、Codexをコードドキュメンテーションに使用する上での制限は何であるか？

主な発見

• CodexはCodeSearchNetデータセットでBLEUスコア20.6を達成し、従来の最先端技術よりも11.2%向上した。
• 最小限のプロンプティング（1ショット）でも、タスク固有の微調整や再トレーニングを必要とする既存のモデルを上回った。
• 質的分析において、いくつかの事例で実際の人が書いたバージョンよりも、Codexがより理解しやすく意味的に豊かなドキュメンテーションを生成した。
• 例えば、CodexはPHP関数を「256進数から10進数に変換する」と正確に記述したが、元のドキュメンテーションでは「10進数」というより曖昧な用語が使われていた。
• Rubyの例では、Codexが「パスが存在しない場合、何も実行しない（noop）」という正しい意味的詳細を追加したが、元のドキュメンテーションにはその記述が欠けていた。
• 本研究は、GPT-3ベースのモデル（例：Codex）が、コードドキュメンテーション生成の強力なゼロショットまたはフェイワショットベースラインとして機能できることを確認しており、今後のさらなる調査が求められる。