[論文レビュー] SE Factual Knowledge in Frozen Giant Code Model: A Study on FQN and its Retrieval

Qing Huang, Dianshu Liao+5 more|arXiv (Cornell University)|Dec 16, 2022

Software Engineering Research被引用数 5

ひとこと要約

本稿では、微調整やコードコンパイルを必要とせず、凍結された巨大コードモデルであるGitHub CopilotからAPIの完全修飾名（FQN）を取得する軽量なコンテキスト内学習手法を提案する。実験の結果、Copilotは顕著なFQNの事実的知識を保持しており、少数のFew-shot例で高い推論精度を達成することが示された。これにより、コード解析や再利用タスクにおける実用的でデプロイ可能なFQN予測が可能になる。

ABSTRACT

Pre-trained giant code models (PCMs) start coming into the developers' daily practices. Understanding what types of and how much software knowledge is packed into PCMs is the foundation for incorporating PCMs into software engineering (SE) tasks and fully releasing their potential. In this work, we conduct the first systematic study on the SE factual knowledge in the state-of-the-art PCM CoPilot, focusing on APIs' Fully Qualified Names (FQNs), the fundamental knowledge for effective code analysis, search and reuse. Driven by FQNs' data distribution properties, we design a novel lightweight in-context learning on Copilot for FQN inference, which does not require code compilation as traditional methods or gradient update by recent FQN prompt-tuning. We systematically experiment with five in-context-learning design factors to identify the best in-context learning configuration that developers can adopt in practice. With this best configuration, we investigate the effects of amount of example prompts and FQN data properties on Copilot's FQN inference capability. Our results confirm that Copilot stores diverse FQN knowledge and can be applied for the FQN inference due to its high inference accuracy and non-reliance on code analysis. Based on our experience interacting with Copilot, we discuss various opportunities to improve human-CoPilot interaction in the FQN inference task.

研究の動機と目的

• 微調整やコード解析を伴わず、GitHub Copilotのような凍結済み巨大コードモデルに、具体的なソフトウェア工学知識（特にAPIの完全修飾名（FQN））がどの程度、そしてどのような特徴で格納されているかを調査すること。
• モデルの微調整やコード解析を伴わず、CopilotからFQN知識を効果的に抽出できるかを評価すること。
• 外部の記号的知識ベースに依存しないように、部分的なコードにおけるFQN推論のための最適なプロンプト設計構成を同定すること。
• 現実世界のソフトウェア工学ワークフローにおいて、凍結済みPCMsを用いた実用的な人間-AI協働パターンを探索すること。

提案手法

• 勾配更新やコードコンパイルを一切行わず、プロンプトのデモンストレーションのみを用いた、FQN推論のための新規コンテキスト内学習フレームワークを設計する。
• FQNのデータ分布特性（時間的バースト性、Zipf分布、動的意味）を活用し、プロンプト設計をガイドする。
• Few-shot例の数、プロンプトフォーマット、例の順序など、5つのコンテキスト内学習設計要因を体系的に評価し、最適な構成を同定する。
• 6つの主要ライブラリ（Android SDK、JDK、Hibernateなど）からのFQNを収集したキュレート済みデータセットを用い、CopilotのFQN推論性能を評価する。
• ゼロショットおよびFew-shotプロンプトを用いて、部分的なコードスニペットにおけるFQNを推論し、さまざまなデータ特性における精度と頑健性を測定する。
• FQN頻度、長さ、使用パターンが推論性能に与える影響を分析することで、モデルの一般化能力を理解する。

実験結果

リサーチクエスチョン

• RQ1 GitHub Copilotは、神経的知識ベースとして、どの程度の事実的FQN知識を格納しているか？
• RQ2 微調整を伴わず、CopilotにおけるFQN推論精度を最も高めるコンテキスト内学習プロンプト設計は何か？
• RQ3 Few-shot例の数やFQNデータ特性（頻度、長さなど）が推論性能に与える影響は何か？
• RQ4 微調整なしの凍結済みCopilotにおけるコンテキスト内学習は、従来の記号的またはコンパイル済み解析手法を上回るFQN推論性能を達成できるか？
• RQ5 FQN推論タスクにおける人間-Copilot協働の実用的意義と機会は何か？

主な発見

• Copilotは、顕著で多様な事実的FQN知識を格納しており、モデルの微調整やコードコンパイルなしで正確な推論が可能である。
• 最も優れた性能を示したコンテキスト内学習構成は、わずかなFew-shot例のみで高いFQN推論精度を達成し、さまざまなFQN頻度レベルにおいても安定した性能を示した。
• FQNデータはZipf分布を示しており、12%のFQNが10,000回以上使用されており、モデルは珍しいまたは未知語のFQNに対しても良好に一般化している。
• コンテキスト内学習によるCopilotの利用は、技術的に実現可能かつスケーラブルであり、モデル更新やパース不要、プロンプト工学のみで実現可能である。
• モデルの性能はプロンプト設計の変化に対して頑健であるが、最適な構成が採用されると、特に曖昧または多義的な単純名の文脈で精度が顕著に向上する。
• 構造的なプロンプト設計とAIチェーンパラダイムを活用することで、FQN推論における人間-Copilot連携を強化でき、より信頼性が高く再利用可能なコード解析ワークフローを実現できる。