[논문 리뷰] Using an LLM to Help With Code Understanding

Daye Nam, Andrew Macvean외 3명|arXiv (Cornell University)|2023. 07. 17.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 GILT를 제시하며, 이는 GPT-3.5-turbo를 사용하여 프롬프트 없이 상호작용함으로써 LLM 쿼리에 대한 코드의 자동적 맥락화를 통해 즉각적인 코드 이해 지원을 제공하는 IDE 내부 플러그인이다. 32명의 참가자를 대상으로 한 사용자 연구에서 GILT는 웹 검색보다 작업 완료 비율이 유의미하게 향상되었으나, 시간 및 이해도 향상은 통계적으로 유의미하지 않았으며, 전문가들이 학생들보다 더 많은 이점을 얻었다.

ABSTRACT

Understanding code is challenging, especially when working in new and complex development environments. Code comments and documentation can help, but are typically scarce or hard to navigate. Large language models (LLMs) are revolutionizing the process of writing code. Can they do the same for helping understand it? In this study, we provide a first investigation of an LLM-based conversational UI built directly in the IDE that is geared towards code understanding. Our IDE plugin queries OpenAI's GPT-3.5-turbo model with four high-level requests without the user having to write explicit prompts: to explain a highlighted section of code, provide details of API calls used in the code, explain key domain-specific terms, and provide usage examples for an API. The plugin also allows for open-ended prompts, which are automatically contextualized to the LLM with the program being edited. We evaluate this system in a user study with 32 participants, which confirms that using our plugin can aid task completion more than web search. We additionally provide a thorough analysis of the ways developers use, and perceive the usefulness of, our system, among others finding that the usage and benefits differ between students and professionals. We conclude that in-IDE prompt-less interaction with LLMs is a promising future direction for tool builders.

연구 동기 및 목표

• LLM 기반의 IDE 내부 정보 지원이 낯선 코드를 이해하고 완료하는 데 있어 개발자의 능력을 향상시킬 수 있는지 조사하기 위해.
• LLM과의 프롬프트 없는 상호작용이 코드 이해 과정에서 인지 부하를 줄이는 데 효과적인지 평가하기 위해.
• 통제된 사용자 연구를 통해 전통적인 웹 검색과 비교하여 GILT의 성능과 인식을 평가하기 위해.
• 학생과 전문가 개발자 간의 사용 패턴 및 이점의 차이를 조사하기 위해.
• 실제 소프트웨어 개발 워크플로우에서 미래의 LLM 기반 개발자 도구 설계에 대한 시사점을 도출하기 위해.

제안 방법

• GPT-3.5-turbo를 통합하여 프롬프트 없이도 즉각적인 코드 설명, API 정보, 도메인 용어 정의, 사용 예시 제공이 가능한 IDE 플러그인인 GILT를 개발하였다.
• 현재 편집 중인 코드를 자동으로 LLM 프롬프트에 맥락으로 삽입함으로써, 사용자 프롬프트 엔지니어링 없이도 맥락 인식 응답을 가능하게 하였다.
• 액션 버튼을 통한 프롬프트 없는 상호작용과 개방형 프롬프트 입력을 모두 제공하였으며, 모든 프롬프트가 로컬 코드 맥락으로 자동으로 강화되었다.
• IDE 내부에 직접 삽입하거나 삭제할 수 있는 트리거 버튼, 요약 표시, 맥락 기반 액션 버튼, 설정 옵션을 포함한 UI를 구현하였다.
• 파이썬 API를 활용한 데이터 시각화 및 3D 렌더링을 포함한 낯선 코드를 이해하고 확장하는 데 있어 GILT 사용과 웹 검색을 비교한 통제된 사용자 연구를 수행하였다.
• 작업 완료 시간, 성공률, 이해 수준 등의 정량적 데이터와 도구 사용 및 실용성에 대한 정성적 피드백을 수집 및 분석하였다.

실험 결과

연구 질문

• RQ1 RQ1: 낯선 코드에 직면했을 때 GILT는 개발자의 이해도, 작업 완료 시간, 작업 완료 비율에 어떤 영향을 미치는가?
• RQ2 RQ2: 개발자들은 GILT와 어떻게 상호작용하는가? 참가자 간의 상호작용 방식은 얼마나 다를까?
• RQ3 RQ3: 개발자들은 GILT의 실용성에 대해 어떻게 평가하는가?
• RQ4 RQ4: 학생과 전문가 간 GILT의 이점 차이를 유도하는 요인는 무엇인가?
• RQ5 RQ5: 실제 소프트웨어 개발 작업에서 IDE 내부의 맥락 인식 기반 LLM 상호작용은 전통적인 웹 검색과 어떻게 비교되는가?

주요 결과

• GILT는 웹 검색 대비 작업 완료 비율에서 통계적으로 유의미한 향상을 보였으며, 성공률 증가가 유의미하게 높아졌고(p < 0.05), 이는 작업 완료 지원이 강화되었음을 시사한다.
• GILT와 웹 검색 간 작업 완료 시간이나 자가 보고한 이해 수준에 통계적으로 유의미한 차이가 없었으며, 이는 효율성 향상이나 이해 깊이 향상에 제한된 기여가 있음을 시사한다.
• 전문가들이 학생들보다 GILT의 이점을 더 많이 얻었으며, 이는 효과적인 프롬프트를 작성하거나 AI 도구에 익숙한 능력 때문일 가능성이 높다. 다만 학생들은 프롬프트 없는 기능을 더 자주 사용하였다.
• 학생들은 프롬프트 없는 단추를 사용할 때보다 직접 프롬프트를 작성할 때 더 성공률이 떨어졌으며, 이는 프롬프트 엔지니어링의 부담 감소가 경험 부족 개발자에게서 사용성 향상에 기여함을 시사한다.
• 참가자들은 로컬 코드를 맥락으로 사용할 수 있다는 점이 GILT의 핵심 강점이라고 평가하였으며, 이는 일반적인 웹 검색보다 더 관련성 있고 정확한 응답을 가능하게 했다.
• 연구는 실제 환경에서의 도입을 위한 추가 연구가 필요하다고 강조하였으며, 실험실 조건은 실제 개발 워크플로우에서의 장기적 또는 대규모 사용 패턴을 반영하지 못할 수 있음을 시사한다.