[논문 리뷰] Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey

Xinyu She, Yue Liu외 6명|arXiv (Cornell University)|2023. 10. 27.

Software Engineering Research인용 수 8

한 줄 요약

데이터, 시스템 설계, 평가, 배포에 걸친 함정의 네 영역 분류를 제안하고 67개의 LM4Code 연구를 식별한 체계적 문헌 고찰로, 신뢰성 향상을 위한 시사점과 해결책을 제시한다.

ABSTRACT

Modern language models (LMs) have been successfully employed in source code generation and understanding, leading to a significant increase in research focused on learning-based code intelligence, such as automated bug repair, and test case generation. Despite their great potential, language models for code intelligence (LM4Code) are susceptible to potential pitfalls, which hinder realistic performance and further impact their reliability and applicability in real-world deployment. Such challenges drive the need for a comprehensive understanding - not just identifying these issues but delving into their possible implications and existing solutions to build more reliable language models tailored to code intelligence. Based on a well-defined systematic research approach, we conducted an extensive literature review to uncover the pitfalls inherent in LM4Code. Finally, 67 primary studies from top-tier venues have been identified. After carefully examining these studies, we designed a taxonomy of pitfalls in LM4Code research and conducted a systematic study to summarize the issues, implications, current solutions, and challenges of different pitfalls for LM4Code systems. We developed a comprehensive classification scheme that dissects pitfalls across four crucial aspects: data collection and labeling, system design and learning, performance evaluation, and deployment and maintenance. Through this study, we aim to provide a roadmap for researchers and practitioners, facilitating their understanding and utilization of LM4Code in reliable and trustworthy ways.

연구 동기 및 목표

• 데이터, 설계, 평가, 배포 라이프사이클 전반에 걸친 LM4Code에 영향을 주는 함정을 식별하고 분류한다.
• 이러한 함정이 성능, 신뢰성 및 신뢰가능성에 대한 시사점을 평가한다.
• LM4Code의 함정을 완화하기 위한 기존 해결책과 모범 사례를 요약한다.
• 강건한 LM4Code 연구와 실천을 위한 향후 과제와 방향성 로드맵을 제시한다.

제안 방법

• Kitchenham과 Charters 지침에 따라 체계적 문헌 고찰(SLR)을 수행한다.
• 준금 표준 검색과 역방향/순방향 스노볼링을 사용하여 관련 초기 연구를 수집한다.
• 다음 네 단계의 LM4Code 라이프사이클로 결과를 분류한다: 데이터 수집/레이블링, 시스템 설계/학습, 성능 평가, 배포/유지보수.
• 함정, 시사점 및 해법에 대한 질적·양적 통찰을 종합한다.
• 시간에 따른 출판 분포와 LM 유형을 분석하여 LM4Code 연구의 경향을 드러낸다.

실험 결과

연구 질문

• RQ1 RQ1: 코드 인텔리전스를 위한 언어 모델에서 일반적으로 나타나는 함정의 유형은 무엇인가?
• RQ2 RQ2: 이러한 함정이 LM4Code 시스템의 효과성, 신뢰성 및 윤리에 미치는 시사점은 무엇인가?
• RQ3 RQ3: 이러한 함정을 해결하기 위해 제안된 해결책은 무엇인가?

주요 결과

• 67개의 1차 연구(2018–2023)가 확인되어 분석되었다.
• 데이터 수집/레이블링, 시스템 설계/학습, 성능 평가, 배포/유지보수의 네 가지 측면으로 구성된 분류 체계가 개발되었다.
• 데이터 관련 함정에는 불균형한 분포, 데이터 노이즈, 레이블링 오류가 포함되며, 이는 성능 과대추정 및 모델 효능 저하로 이어질 수 있다.
• 시스템 설계 함정에는 데이터 스눕핑, 인위적 상관관계, 부적절한 모델 설계가 포함되어 과도하게 낙관적인 지표와 신뢰할 수 없는 동작에 기여한다.
• 해결책에는 데이터 정제/잡음 제거, 실세계 벤치마크, 교차 프로젝트 검증, 시간 기반 분할, 정규화, 해석 가능성에 대한 강조가 포함된다.
• 연구 경로의 일부로 트랜스포머 기반 LM4Code와 투명성 인식 평가로의 초점 이동이 있다.