[论文解读] Adaptive Intellect Unleashed: The Feasibility of Knowledge Transfer in Large Language Models

Qing Huang, Yishun Wu+4 more|arXiv (Cornell University)|Aug 9, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了一种知识迁移框架，通过引导大型语言模型（LLMs）将熟悉且相似的API或代码片段的知识迁移至未见过的代码构造，以提升其在软件工程任务中的泛化能力。该方法在API推理、代码示例生成和FQN推理任务中均提升了性能，其中分层迁移与AI-Chain提示优于直接迁移与思维链（CoT）。

ABSTRACT

We conduct the first empirical study on using knowledge transfer to improve the generalization ability of large language models (LLMs) in software engineering tasks, which often require LLMs to generalize beyond their training data. Our proposed general knowledge transfer approach guides the LLM towards a similar and familiar API or code snippet it has encountered before, improving the model's generalization ability for unseen knowledge. We apply this approach to three software engineering tasks: API inference, code example generation, and FQN inference, and find transfer span, transfer strategy, and transfer architecture as key factors affecting the method. Our findings demonstrate the feasibility of knowledge transfer and its potential to enhance LLMs' performance in various software engineering tasks. The effectiveness of knowledge transfer varies depending on the target domain and task, with the hierarchical strategy being more effective than direct transfer, and AI-Chain outperforming CoT in prompt design. The implications of these findings extend beyond software engineering tasks and suggest that knowledge transfer can enhance LLMs' ability to handle unknowns in any natural language task.

研究动机与目标

• 解决由于训练数据覆盖不足，导致LLMs在软件工程任务中泛化能力有限的问题。
• 探究知识迁移是否能提升LLMs在未见软件工程任务上的表现。
• 识别影响知识迁移有效性的关键因素——迁移跨度、策略与架构。
• 证明知识迁移在三种不同软件工程任务（API推理、代码示例生成、FQN推理）中应用的可行性。
• 提供一种可泛化的框架，通过从语义相似的熟悉示例迁移知识，增强LLMs处理未知或罕见代码构造的能力。

提出的方法

• 提出一种通用的知识迁移方法，将未知代码构造映射到功能相似且熟悉的API或代码片段。
• 使用上下文提示（in-context prompting）引导LLMs先识别一个已知的、类比的源（例如，Java API），再将知识迁移至目标（例如，Kotlin API）。
• 实现两种迁移策略：直接迁移（一步映射）与分层迁移（通过中间熟悉构造进行多步推理）。
• 应用两种提示设计架构：思维链（CoT）与AI-Chain，以评估其对知识迁移性能的影响。
• 以GPT-3.5作为基础LLM，并从2021年以后的文档中收集新的API与代码片段，以测试在未见数据上的泛化能力。
• 在零样本与少样本设置下，通过准确率与泛化增益，评估三种任务中的迁移有效性。

实验结果

研究问题

• RQ1 知识迁移在多大程度上能提升LLMs在涉及未见API或代码片段的软件工程任务中的泛化能力？
• RQ2 不同迁移跨度（如源-目标距离）如何影响知识迁移性能？
• RQ3 直接迁移与分层迁移策略中，哪种能更有效地提升LLMs的泛化能力？
• RQ4 不同提示架构（如CoT与AI-Chain）如何影响知识迁移的有效性？
• RQ5 知识迁移的有效性是否因不同软件工程任务与领域而异？

主要发现

• 知识迁移具有可行性，并显著提升了LLMs在软件工程任务中的泛化能力，尤其在目标任务涉及未见或罕见代码构造时效果更明显。
• 分层迁移策略优于直接迁移，通过中间熟悉代码构造实现多步推理，从而获得更高的准确率。
• AI-Chain在提示设计方面优于CoT，展现出更强的引导LLMs在不同领域中准确迁移知识的能力。
• 迁移性能因任务与领域而异，FQN推理表现优异，因其包名与方法签名具有结构相似性。
• 该方法成功泛化至训练数据截止时间之后发布的API（2021年9月后），证实其对数据分布偏移具有鲁棒性。
• 该方法可在不同编程语言间迁移，成功实现从Java到Kotlin示例的映射，表明其具备扩展至更广泛语言支持的潜力。