[논문 리뷰] Adaptive Intellect Unleashed: The Feasibility of Knowledge Transfer in Large Language Models

Qing Huang, Yishun Wu외 4명|arXiv (Cornell University)|2023. 08. 09.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 소프트웨어 공학 작업에서 대규모 언어 모델(Large Language Models, LLMs)의 일반화 능력을 향상시키기 위해 익숙하고 유사한 API나 코드 스니펫에서 익히지 않은 것들로 지식을 이동시키는 지식 전이 프레임워크를 제안한다. 이 방법은 API 추론, 코드 예제 생성, FQN 추론 등 다양한 작업에서 성능을 향상시키며, 계층적 전이와 AI-Chain 프롬프팅이 직접 전이와 사고 체인(Chain-of-Thought)보다 뛰어난 성능을 보인다.

ABSTRACT

We conduct the first empirical study on using knowledge transfer to improve the generalization ability of large language models (LLMs) in software engineering tasks, which often require LLMs to generalize beyond their training data. Our proposed general knowledge transfer approach guides the LLM towards a similar and familiar API or code snippet it has encountered before, improving the model's generalization ability for unseen knowledge. We apply this approach to three software engineering tasks: API inference, code example generation, and FQN inference, and find transfer span, transfer strategy, and transfer architecture as key factors affecting the method. Our findings demonstrate the feasibility of knowledge transfer and its potential to enhance LLMs' performance in various software engineering tasks. The effectiveness of knowledge transfer varies depending on the target domain and task, with the hierarchical strategy being more effective than direct transfer, and AI-Chain outperforming CoT in prompt design. The implications of these findings extend beyond software engineering tasks and suggest that knowledge transfer can enhance LLMs' ability to handle unknowns in any natural language task.

연구 동기 및 목표

• 부족한 훈련 데이터 커버리지로 인해 소프트웨어 공학 작업에서 LLM의 일반화 능력이 제한된다는 문제를 해결하기 위해.
• 지식 전이가 익히지 않은 소프트웨어 공학 작업에서 LLM의 성능을 향상시킬 수 있는지 조사하기 위해.
• 지식 전이 효과성에 영향을 미치는 핵심 요소들—전이 범위, 전략, 아키텍처—를 특정하기 위해.
• API 추론, 코드 예제 생성, FQN 추론과 같은 세 가지 다른 소프트웨어 공학 작업에서 지식 전이의 가능성을 입증하기 위해.
• 알 수 없는 또는 드문 코드 구조를 다룰 수 있도록 LLM의 능력을 향상시키기 위한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 알 수 없는 코드 구조를 함수적으로 유사한 익숙한 API나 코드 스니펫으로 매핑하는 일반적인 지식 전이 접근법을 제안한다.
• LLM이 먼저 알려진 유사한 소스(예: Java API)를 식별한 후, 대상(예: Kotlin API)으로 지식을 전이하도록 유도하기 위해 인라인 프롬프팅을 사용한다.
• 직접 전이(단일 단계 매핑)와 계층적 전이(중간에 익숙한 구조를 거쳐 다단계 추론)의 두 가지 전이 전략을 구현한다.
• 지식 전이 성능에 미치는 영향을 평가하기 위해 사고 체인(CoT)과 AI-Chain이라는 두 가지 프롬프팅 아키텍처를 적용한다.
• 기본 LLM으로 GPT-3.5를 사용하고, 2021년 이후 문서에서 새로운 API와 코드 스니펫을 수집하여 익히지 않은 데이터에 대한 일반화 성능을 테스트한다.
• 정확도와 일반화 향상도를 측정하기 위해, zero-shot 및 few-shot 설정에서 세 가지 작업을 대상으로 전이 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 지식 전이가 익히지 않은 API나 코드 스니펫을 포함한 소프트웨어 공학 작업에서 LLM의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ2 다양한 전이 범위(예: 소스-대상 거리)가 지식 전이 성능에 어떻게 영향을 미치는가?
• RQ3 직접 전이와 계층적 전이 중 어떤 전이 전략이 LLM의 일반화 능력을 더 잘 향상시키는가?
• RQ4 사고 체인(CoT)과 AI-Chain 등 다양한 프롬프팅 아키텍처가 지식 전이 효과성에 어떻게 영향을 미치는가?
• RQ5 지식 전이의 효과성이 다양한 소프트웨어 공학 작업과 도메인 간에 달라지는가?

주요 결과

• 지식 전이는 가능하며, 특히 목표 작업이 익히지 않은 또는 드문 코드 구조를 포함할 경우 LLM의 일반화 능력을 크게 향상시킨다.
• 계층적 전이 전략은 직접 전이를 능가하며, 중간에 익숙한 코드 구조를 거쳐 다단계 추론을 가능하게 함으로써 더 높은 정확도를 달성한다.
• AI-Chain은 프롬프팅 아키텍처에서 CoT를 능가하며, 다양한 도메인 간에 정확한 지식 전이를 유도하는 데 더 효과적임을 입증한다.
• 전이 성능은 작업과 도메인에 따라 달라지며, 패키지 이름과 메서드 서명 간의 구조적 유사성 덕분에 FQN 추론에서 뚜렷한 성과 향상이 나타난다.
• 훈련 데이터의 마감일 이후에 출시된 새로운 API들(2021년 9월 이후)에 대해서도 이 방법이 성공적으로 일반화되어, 데이터 분포 변화에 대한 강건성을 확인한다.
• 이 방법은 프로그래밍 언어 간에 전이 가능하며, Java 예제에서 Kotlin 예제로의 성공적인 매핑을 통해 더 넓은 언어 지원 잠재력을 보여준다.