[논문 리뷰] Automatically Recommend Code Updates: Are We There Yet?

Yue Liu, Chakkrit Tantithamthavorn외 3명|arXiv (Cornell University)|2022. 09. 15.

Mobile and Web Applications인용 수 5

한 줄 요약

이 논문은 CodeT5, CodeBERT, UniXcoder 등의 사전 훈련된 코드 언어 모델(CodeLMs)을 활용해 안드로이드 코드 업데이트를 추천하는 데 있어 처음으로 종합적인 평가를 제시한다. 2008년에서 2022년 사이에 GitHub에 호스팅되고 Google Play에 배포된 3,195개의 안드로이드 앱에서 유래한 209,000개의 업데이트된 메서드로 구성된 새로운 데이터셋을 사용하여, 현실적인 시간 기반 평가에서 기존 방법 대비 190–385% 향상된 성능을 보이며, CodeT5가 다양한 업데이트 유형에서 최고의 성능을 기록한다.

ABSTRACT

In recent years, large pre-trained Language Models of Code (CodeLMs) have shown promising results on various software engineering tasks. One such task is automatic code update recommendation, which transforms outdated code snippets into their approved and revised counterparts. Although many CodeLM-based approaches have been proposed, claiming high accuracy, their effectiveness and reliability on real-world code update tasks remain questionable. In this paper, we present the first extensive evaluation of state-of-the-art CodeLMs for automatically recommending code updates. We assess their performance on two diverse datasets of paired updated methods, considering factors such as temporal evolution, project specificity, method size, and update complexity. Our results reveal that while CodeLMs perform well in settings that ignore temporal information, they struggle in more realistic time-wise scenarios and generalize poorly to new projects. Furthermore, CodeLM performance decreases significantly for larger methods and more complex updates. Furthermore, we observe that many CodeLM-generated "updates" are actually null, especially in time-wise settings, and meaningful edits remain challenging. Our findings highlight the significant gap between the perceived and actual effectiveness of CodeLMs for real-world code update recommendation and emphasize the need for more research on improving their practicality, robustness, and generalizability.

연구 동기 및 목표

• 사전 훈련된 CodeLMs가 안드로이드 애플리케이션의 자동 코드 업데이트를 추천하는 데 있어 실현 가능성과 효과성을 조사하는 것.
• API의 폐기 및 호환성 수정과 같은 안드로이드 전용 코드 업데이트에 특화되지 않은 기존 방법의 격차를 보완하는 것.
• 랜덤 데이터 분할에서 과도하게 낙관적인 결과를 내는 것을 방지하기 위해, 현실적인 시간 기반 평가 시나리오에서 CodeLM의 성능을 평가하는 것.
• 업데이트 유형, 메서드 크기, 업데이트 크기가 CodeLM의 성능에 미치는 영향을 분석하는 것.
• 시간에 따른 적응성과 일반화 능력의 한계를 규명하여 향후 연구의 기초를 마련하는 것.

제안 방법

• 2008년에서 2022년 사이에 GitHub에 호스팅되고 Google Play에 배포된 3,195개의 오픈소스 안드로이드 앱에서 유래한 209,000개의 쌍으로 구성된 업데이트된 메서드를 수집한 고유한 데이터셋을 구축했다.
• 시퀀스에서 시퀀스로의 생성 프레임워크를 사용하여, CodeT5, CodeBERT, CodeGPT, UniXcoder, T5 등의 최신 CodeLMs를 활용해 코드 업데이트 추천 작업을 평가했다.
• 다양한 비드 크기를 적용한 비드 서치 디코딩을 통해 다양한 추론 전략에서의 생성 품질과 견고성을 평가했다.
• 시간 기반 평가 시나리오를 구현하여, 모델이 이전 코드 버전에서 훈련되고 미래의 업데이트에서 테스트되는 방식으로, 실제 운영 환경을 시뮬레이션했다.
• 업데이트 유형, 메서드 크기, 업데이트 크기가 모델 성능에 미치는 영향을 분석하기 위해 아블레이션 스터디를 수행했다.
• 예측 정확도와 생성된 코드 업데이트의 유창성을 평가하기 위해 정규화된 지표인 정확한 매칭과 BLEU를 사용했다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CodeLMs는 기존의 딥러닝 모델(예: Tufano et al., AutoTransform)에 비해 안드로이드 코드 업데이트 추천에서 어떻게 성능을 냈는가?
• RQ2 랜덤 데이터 분할 대비 시간 기반 평가 시나리오를 사용할 경우, CodeLMs의 성능 평가에 어떤 영향을 미치는가?
• RQ3 안드로이드 앱의 다양한 종류의 코드 업데이트에서 어떤 CodeLM 아키텍처(예: CodeT5, CodeBERT)가 가장 뛰어난 성능을 보이는가?
• RQ4 업데이트 유형, 메서드 크기, 업데이트 크기가 CodeLM의 코드 업데이트 추천 성능에 어떤 영향을 미치는가?
• RQ5 CodeLMs는 다양한 안드로이드 앱 코드베이스와 변화하는 API 변화에 대해 얼마나 일반화되는가?

주요 결과

• 사전 훈련된 CodeLMs는 현실적인 시간 기반 평가에서 기존의 베이스라인 대비 정확한 예측 정확도에서 190%에서 385%까지 향상된 성능을 기록했다.
• CodeT5는 모든 업데이트 유형에서 일관되게 최고의 성능을 기록하여, 안드로이드 코드 업데이트 추천에서 뛰어난 일반화 능력과 적응성을 입증했다.
• 시간 기반 평가 결과, 랜덤 데이터 분할은 성능 추정을 과도하게 낙관적으로 이끌 수 있음을 확인하여, 향후 소프트웨어 공학 모델 평가에서 시간적 검증의 필요성을 강조했다.
• 데이터셋은 다양한 업데이트 유형을 포함하고 있으며, 리팩터링과 버그 수정이 가장 빈번하게 발생하여, 모델이 다양한 변경 의미를 일반화할 수 있어야 한다는 점을 시사한다.
• 메서드 크기와 업데이트 크기가 커질수록 모델 성능이 저하됨을 확인하여, 복잡하거나 광범위한 코드 변환을 처리하는 데 어려움이 있음을 시사한다.
• CodeLMs는 안드로이드 코드 업데이트 자동화 잠재력이 높지만, 향후 연구에서 시간에 따른 적응성과 변화하는 API에 대한 견고성은 여전히 주요 과제로 남아 있다.