[논문 리뷰] Robustness, Security, Privacy, Explainability, Efficiency, and Usability of Large Language Models for Code

Zhou Yang, Zhensu Sun외 3명|arXiv (Cornell University)|2024. 03. 12.

Software Engineering Research인용 수 6

한 줄 요약

146개 연구에 대한 체계적 문헌 고찰로, 코드에서 LLMs의 정확도 이외의 일곱 가지 비기능적 속성을 식별하며, 최신 동향과 격차를 제시합니다.

ABSTRACT

Large language models for code (LLM4Code), which demonstrate strong performance (e.g., high accuracy) in processing source code, have significantly transformed software engineering. Many studies separately investigate the non-functional properties of LM4Code, but there is no systematic review of how these properties are evaluated and enhanced. This paper fills this gap by thoroughly examining 146 relevant studies, thereby presenting the first systematic literature review to identify seven important properties beyond accuracy, including robustness, security, privacy, explainability, efficiency, and usability. We discuss the current state-of-the-art methods and trends, identify gaps in existing research, and present promising directions for future study.

연구 동기 및 목표

• LLM4Code의 정확도 이외의 일곱 가지 비기능적 속성을 식별한다(robustness, security, privacy, explainability, efficiency, and usability).
• 현재 연구에서 이러한 속성이 어떻게 정의되고 평가되며 향상되는지 평가한다.
• 각 속성에 대한 최신 기술, 데이터셋, 및 측정 기준을 요약한다.
• LLM4Code의 향후 연구를 안내하기 위한 격차, 도전 과제, 및 기회를 강조한다.
• 적절한 경우 LLM4Code와 비-LLM4Code 연구 간의 주목도를 비교한다.

제안 방법

• 정확도 이외의 LLM4Code 비기능적 속성에 초점을 맞춘 146편의 논문(2019–2024)에 대한 체계적 문헌 고찰.
• 두 단계의 논문 식별: DBLP에서의 키워드 질의, 그다음 Semantic Scholar를 통한 역방향/전방향 snowballing; 전이 닫힘(transitive closure)에 도달하기 위한 여덟 차례의 snowballing.
• 일곱 가지 속성의 정의와 속성별 현재의 평가/향상 기술의 종합.
• 강인성 테스트 방법(화이트박스/블랙박스) 및 테스트 입력 생성 방법(기울기 기반, 휴리스틱 주도, 검색 기반, 강화학습, 스타일/전이 가능성)의 분류.
• 대표 연구를 바탕으로 논의의 근거를 확립하고 경향 및 격차를 제시(Table 1의 논문 참조).

실험 결과

연구 질문

• RQ1 LLM4Code에서 정확도 이외의 어떤 비기능적 속성이 연구되었는가?
• RQ2 강인성, 보안, 프라이버시, 설명가능성, 효율성, 사용성이 문헌에서 어떻게 평가되고 개선되는가?
• RQ3 이 속성들에 대한 주요 격차와 LLM4Code의 향후 방향은 무엇인가?
• RQ4 LLM4Code의 비기능적 속성 연구에 영향을 미치는 타당성 위협은 무엇인가?

주요 결과

• 강인성은 LLM4Code 논문들 중에서 가장 많이 연구된 속성이다(가장 큰 비중).
• 보안 및 프라이버시 문제에는 데이터 중독(data poisoning), 백도어, 민감 정보 유출이 포함되며; 멤버십 추론 및 데이터셋 소유권 이슈가 논의된다.
• 설명가능성은 기법과 작업 간에 일관성이 없으며 최종 사용자의 요구를 충족하는 데 격차가 있다.
• 효율성 경향에는 매개변수 효율적인 파인튜닝과 모델 압축이 포함되며, 다른 속성에 미치는 영향은 엇갈린다.
• 사용성 발견은 엇갈리며 생산성 효과가 다르게 나타나고 실제 환경에서의 실용적인 사용성 개입이 제한적이다.
• 문헌은 정확도 이외의 이러한 비기능적 속성의 평가 및 향상에 광범위한 연구 기회와 도전을 드러낸다.