[논문 리뷰] Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets

David Noever, Kevin Williams|arXiv (Cornell University)|2023. 01. 05.

Software Engineering Research인용 수 7

한 줄 요약

이 논문은 지난 50년간의 주요 기술 발전에서 유래한 기념비적 소스 코드 스니펫, 예를 들어 이메일 및 웹 브라우저와 같은 기초 시스템을 분석하고 향상시키기 위해 인공지능 기반 코드 어시스턴트를 사용하는 것을 조사한다. 이 접근법은 대규모 언어 모델을 활용하여 악성 코드를 역설계하고, 성능 향상 조언을 내며, 문서화를 생성함으로써 고전적 소프트웨어 시스템에서 인간 수준의 코드 이해력과 리팩터링 능력을 입증한다.

ABSTRACT

The research applies AI-driven code assistants to analyze a selection of influential computer code that has shaped modern technology, including email, internet browsing, robotics, and malicious software. The original contribution of this study was to examine half of the most significant code advances in the last 50 years and, in some cases, to provide notable improvements in clarity or performance. The AI-driven code assistant could provide insights into obfuscated code or software lacking explanatory commentary in all cases examined. We generated additional sample problems based on bug corrections and code optimizations requiring much deeper reasoning than a traditional Google search might provide. Future work focuses on adding automated documentation and code commentary and translating select large code bases into more modern versions with multiple new application programming interfaces (APIs) and chained multi-tasks. The AI-driven code assistant offers a valuable tool for software engineering, particularly in its ability to provide human-level expertise and assist in refactoring legacy code or simplifying the explanation or functionality of high-value repositories.

연구 동기 및 목표

• 인공지능 기반 코드 어시스턴트가 주요 기술 발전에서 비롯된 역사적으로 중요한 소스 코드 스니펫을 이해하고 향상시킬 수 있는 능력을 평가하는 것.
• 대규모 언어 모델이 높은 정확도와 통찰력을 바탕으로 악성 코드나 문서화되지 않은 코드를 역설계할 수 있는지 평가하는 것.
• 기존 소스 코드베이스를 현대 API로 리팩터링하고 유지보수성을 향상시키기 위해 AI를 활용할 수 있는지 가능성 탐색.
• 사전 인간 주석 없이도 고가치 소프트웨어 리포지터리에 대해 자동 문서화 및 설명을 생성하는 것.

제안 방법

• 연구는 지난 50년간의 주요 기술 발전 분야인 이메일, 웹 브라우징, 로봇공학, 악성코드 등에서 가장 영향력 있는 코드 개선 사례의 절반을 선정하였다.
• AI 기반 코드 어시스턴트를 사용하여 이러한 코드 스니펫을 분석하고, 설명하며, 최적화하였으며, 명확성, 성능, 정확성에 중점을 두었다.
• 기본적인 검색을 넘어서 깊이 있는 추론이 필요한 새로운 테스트 케이스와 샘플 문제를 생성하는 것이 포함되었다.
• 시스템의 버그 탐지 능력, 최적화 제안 능력, 인간이 읽을 수 있는 문서화 생성 능력을 평가하였다.
• 사고의 사슬 프ompting과 소수의 예시 제시를 통해 추론의 정밀도를 향상시키기 위한 반복적 개선 과정이 포함되었다.
• 향후 확장 사항으로는 대규모 코드베이스를 현대 API로 자동 번역하고, 다중 작업 및 연결된 프로그래밍 워크플로우를 지원하는 것 포함.

실험 결과

연구 질문

• RQ1 AI 기반 코드 어시스턴트는 인간 수준의 이해로 악성 코드나 문서화되지 않은 노후 소스 코드를 정확히 해석하고 설명할 수 있는가?
• RQ2 AI 기반 도구가 역사적으로 중요한 소스 코드 스니펫의 성능과 명확성을 어느 정도 향상시킬 수 있는가?
• RQ3 사전 인간 주석 없이도 AI 시스템이 고가치 소프트웨어 리포지터리에 대해 의미 있고 정확한 문서화 및 설명을 생성할 수 있는가?
• RQ4 AI 어시스턴트가 키워드 검색을 넘어서는 추론 능력을 통해 복잡한 실제 코드베이스에서 버그를 식별하고 수정하는 데 얼마나 효과적인가?
• RQ5 AI 기반 어시스턴트가 功能을 유지하면서도 노후 소스 코드를 현대 API 표준으로 자동 리팩터링할 수 있는가?

주요 결과

• AI 기반 코드 어시스턴트는 초기 이메일 및 웹 프로토콜과 같은 기초 시스템의 악성 코드를 성공적으로 해석하고 명확화하였다.
• 여러 사례에서 AI는 인간이 설계한 솔루션과 동일하거나 이를 초월하는 성능 향상과 코드 단순화를 제공하였다.
• 설명 주석이 없는 코드에 대해 의미 있고 맥락 인식 기반의 문서화 및 설명을 생성하여 유지보수성을 향상시켰다.
• 시스템은 기본적인 검색을 넘어서는 추론 능력을 보였으며, 깊은 코드 이해가 필요한 복잡한 버그 수정 및 최적화 문제를 해결하였다.
• 이 접근법은 특히 저수준 시스템 소프트웨어에서 복잡한 논리 오류를 식별하고 수정 제안하는 데 효과적이었다.
• 이 연구는 AI 어시스턴트가 대규모로 노후 소스 코드베이스를 리팩터링하고 현대화하는 데 소프트웨어 엔지니어의 실질적인 도구로 기능할 수 있음을 확인하였다.