[논문 리뷰] A Closer Look into Transformer-Based Code Intelligence Through Code Transformation: Challenges and Opportunities

Yaoxian Li, Shiyi Qi외 5명|arXiv (Cornell University)|2022. 07. 09.

Software Engineering Research인용 수 8

한 줄 요약

이 논문은 의미를 유지하는 코드 변환에 대한 트랜스포머 기반 코드 지능 모델의 내성에 대해 조사한다. 자바와 파이썬에서 24~27가지의 변환 전략을 구현하여, 삽입/삭제 및 식별자 변환 전략이 성능을 가장 심각하게 떨어뜨리는 것으로 밝혀졌으며, 시퀀스 기반 모델에 비해 AST 기반 트랜스포머가 더 높은 내성을 보임을 확인하였다.

ABSTRACT

Transformer-based models have demonstrated state-of-the-art performance in many intelligent coding tasks such as code comment generation and code completion. Previous studies show that deep learning models are sensitive to the input variations, but few studies have systematically studied the robustness of Transformer under perturbed input code. In this work, we empirically study the effect of semantic-preserving code transformation on the performance of Transformer. Specifically, 24 and 27 code transformation strategies are implemented for two popular programming languages, Java and Python, respectively. For facilitating analysis, the strategies are grouped into five categories: block transformation, insertion/deletion transformation, grammatical statement transformation, grammatical token transformation, and identifier transformation. Experiments on three popular code intelligence tasks, including code completion, code summarization and code search, demonstrate insertion/deletion transformation and identifier transformation show the greatest impact on the performance of Transformer. Our results also suggest that Transformer based on abstract syntax trees (ASTs) shows more robust performance than the model based on only code sequence under most code transformations. Besides, the design of positional encoding can impact the robustness of Transformer under code transformation. Based on our findings, we distill some insights about the challenges and opportunities for Transformer-based code intelligence.

연구 동기 및 목표

• 의미를 유지하는 코드 변환에 대한 트랜스포머 기반 코드 지능 모델의 내성에 대해 조사한다.
• 모델 성능에 가장 크게 영향을 주는 코드 변환 전략을 규명한다.
• 코드 흐트러짐 상황에서 시퀀스 기반과 AST 기반 트랜스포머 모델 간의 내성 차이를 비교한다.
• 위치 인코딩 설계가 코드 변환 하에서 모델 내성에 미치는 영향을 분석한다.

제안 방법

• 파이썬용 27가지, 자바용 24가지 의미 유지 코드 변환 전략을 설계 및 구현하였다.
• 변환 전략을 다섯 가지 범주로 분류: 블록, 삽입/삭제, 문법적 문장, 문법적 토큰, 식별자 변환.
• 세 가지 코드 지능 작업에서 모델 성능을 평가: 코드 완성, 코드 요약, 코드 검색.
• 두 가지 트랜스포머 아키텍처를 비교: 하나는 원시 코드 시퀀스를 입력으로 사용하고, 다른 하나는 추상 구문 트리(ASP)를 입력 표현으로 사용.
• 다양한 위치 인코딩 설계가 코드 변환 하에서 내성에 미치는 영향을 분석하였다.
• 표준 평가 지표(예: BLEU, F1, Recall@K)를 사용하여 변환된 입력에 대한 성능 저하를 정량화하였다.

실험 결과

연구 질문

• RQ1 의미 유지 코드 변환의 다양한 유형이 트랜스포머 기반 코드 지능 모델의 성능에 어떤 영향을 미치는가?
• RQ2 어느 변환 전략이 트랜스포머의 성능 저하에 가장 큰 영향을 미치는가?
• RQ3 추상 구문 트리(ASP)를 입력으로 사용하는 것이 원시 코드 시퀀스에 기반한 모델보다 트랜스포머의 내성을 향상시키는가?
• RQ4 위치 인코딩 설계가 코드 변환 하에서 트랜스포머의 내성에 어떤 영향을 미치는가?

주요 결과

• 삽입/삭제 변환과 식별자 이름 변경이 코드 완성, 요약, 검색 작업 전반에서 트랜스포머 성능에 가장 심각한 부정적 영향을 미친다.
• 추상 구문 트리(ASP)를 기반으로 한 트랜스포머 모델은 대부분의 변환 유형에서 원시 코드 시퀀스에 의존하는 모델보다 더 높은 내성을 보인다.
• 위치 인코딩 설계가 모델 내성에 중대한 영향을 미치며, 일부 구성이 코드 흐트러짐 상황에서도 성능 유지를 더 잘 유지한다.
• 성능 저하는 코드 요약과 코드 검색에서 가장 두드러지며, 극단적인 식별자 이름 변경 상황에서 BLEU 점수가 최대 30% 감소한다.
• 일반적인 리팩터링 패턴을 통해 생성된 의미적으로 동일한 코드 변형조차도 모델 예측을 크게 달리하게 하여 일반화 능력이 떨어지는 것으로 나타났다.
• 본 연구는 현재 최첨단 코드 지능 모델이 의미를 유지하는 문법적 변형에 취약함을 드러내며, 내성에 대한 심각한 격차를 제기한다.