[論文レビュー] Adaptive Intellect Unleashed: The Feasibility of Knowledge Transfer in Large Language Models

Qing Huang, Yishun Wu+4 more|arXiv (Cornell University)|Aug 9, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、未知のAPIやコードスニペットに対して、類似した、馴染みのあるAPIやコードスニペットから知識を転送するように誘導することで、大規模言語モデル（LLMs）のソフトウェア工学タスクにおける汎化能力を向上させる知識転送フレームワークを提案する。このアプローチは、API推論、コード例生成、FQN推論の各タスクで性能向上を達成し、直接転送や思考の連鎖（CoT）に比べ、階層的転送とAI-Chainプロンプトが優れている。

ABSTRACT

We conduct the first empirical study on using knowledge transfer to improve the generalization ability of large language models (LLMs) in software engineering tasks, which often require LLMs to generalize beyond their training data. Our proposed general knowledge transfer approach guides the LLM towards a similar and familiar API or code snippet it has encountered before, improving the model's generalization ability for unseen knowledge. We apply this approach to three software engineering tasks: API inference, code example generation, and FQN inference, and find transfer span, transfer strategy, and transfer architecture as key factors affecting the method. Our findings demonstrate the feasibility of knowledge transfer and its potential to enhance LLMs' performance in various software engineering tasks. The effectiveness of knowledge transfer varies depending on the target domain and task, with the hierarchical strategy being more effective than direct transfer, and AI-Chain outperforming CoT in prompt design. The implications of these findings extend beyond software engineering tasks and suggest that knowledge transfer can enhance LLMs' ability to handle unknowns in any natural language task.

研究の動機と目的

• 訓練データカバレッジの不十分さに起因する、LLMsのソフトウェア工学タスクにおける汎化能力の限界を是正すること。
• 未知のソフトウェア工学タスクにおいて、知識転送がLLMsの性能を向上させうるかどうかを調査すること。
• 知識転送の効果に影響を与える要因（転送範囲、戦略、アーキテクチャ）を同定すること。
• API推論、コード例生成、FQN推論という3つの異なるソフトウェア工学タスクにおいて、知識転送の実現可能性を実証すること。
• 未知または希少なコード構文を処理するLLMsの能力を向上させるための汎用的フレームワークを提供すること。

提案手法

• 未知のコード構文を、機能的に類似した、馴染みのあるAPIやコードスニペットにマッピングする汎用的知識転送手法を提案する。
• 文脈内プロンプトを用いて、LLMsがまず既知の類似するソース（例：Java API）を特定し、その後でそれらからターゲット（例：Kotlin API）へ知識を転送するように誘導する。
• 2つの転送戦略を実装する：直接転送（1ステップマッピング）と階層的転送（中間の馴染みのある構文を通じた複数ステップの推論）。
• プロンプト設計アーキテクチャとして、思考の連鎖（CoT）とAI-Chainを採用し、それらが知識転送性能に与える影響を評価する。
• ベースとなるLLMにGPT-3.5を用い、2021年以降のドキュメントから新しいAPIやコードスニペットを収集し、未学習データに対する汎化性能をテストする。
• ゼロショットおよびフェイシング設定を用いて、3つのタスクで転送効果を評価し、正確性と汎化の向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 知識転送は、未知のAPIやコードスニペットを含むソフトウェア工学タスクにおいて、LLMsの汎化能力をどの程度向上させ得るか？
• RQ2 異なる転送範囲（例：ソースとターゲットの距離）は、知識転送のパフォーマンスにどのように影響するか？
• RQ3 直接転送と階層的転送のうち、どちらの戦略がLLMsの汎化能力向上により効果的か？
• RQ4 思考の連鎖（CoT）とAI-Chainといった異なるプロンプトアーキテクチャは、知識転送の効果にどのように影響するか？
• RQ5 知識転送の効果は、異なるソフトウェア工学タスクや分野で変動するか？

主な発見

• 知識転送は実現可能であり、特に未知または希少なコード構文を含むタスクにおいて、LLMsの汎化能力を顕著に向上させる。
• 階層的転送戦略は直接転送を上回り、中間の馴染みのあるコード構文を通じた複数ステップの推論を可能にすることで、より高い正確性を達成する。
• AI-Chainはプロンプト設計においてCoTを上回り、異なる分野にまたがる知識の正確な転送を誘導する上で、より高い効果を示す。
• タスクや分野によって転送パフォーマンスは変動し、FQN推論ではパッケージ名やメソッドシグネチャの構造的類似性により顕著な向上が見られた。
• 本手法は、学習データのカットオフ以降にリリースされた新しいAPI（2021年9月以降）に対しても一般化が成功しており、データ分布のシフトに対しても頑健であることが確認された。
• 本アプローチはプログラミング言語を越えて転送可能であり、JavaからKotlinへの例のマッピングが成功したことで、より広範な言語サポートの可能性が示唆された。