[논문 리뷰] A Controlled Experiment of Different Code Representations for Learning-Based Bug Repair

Marjane Namavar, Noor Nashid외 1명|arXiv (Cornell University)|2021. 10. 26.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 딥러닝 기반 프로그램 복구를 위한 21종의 다양한 코드 표현 방식과 임베딩 방식을 제어 실험을 통해 평가하며, 이름 기반 버그에 초점을 맞춘다. 연구 결과, 고수준 추상화는 모델 정확도를 향상시키지만 개발자가 복구 조치를 얼마나 유용하게 느끼는지에 영향을 줄 수 있으며, 혼합(이종) 표현 방식이 동종 표현 방식보다 우수한 성능을 보이며, 복구 도구 설계 시 개발자 사용성까지 고려할 필요성이 있다는 점을 시사한다.

ABSTRACT

Training a deep learning model on source code has gained significant traction recently. Since such models reason about vectors of numbers, source code needs to be converted to a code representation before vectorization. Numerous approaches have been proposed to represent source code, from sequences of tokens to abstract syntax trees. However, there is no systematic study to understand the effect of code representation on learning performance. Through a controlled experiment, we examine the impact of various code representations on model accuracy and usefulness in deep learning-based program repair. We train 21 different generative models that suggest fixes for name-based bugs, including 14 different homogeneous code representations, four mixed representations for the buggy and fixed code, and three different embeddings. We assess if fix suggestions produced by the model in various code representations are automatically patchable, meaning they can be transformed to a valid code that is ready to be applied to the buggy code to fix it. We also conduct a developer study to qualitatively evaluate the usefulness of inferred fixes in different code representations. Our results highlight the importance of code representation and its impact on learning and usefulness. Our findings indicate that (1) while code abstractions help the learning process, they can adversely impact the usefulness of inferred fixes from a developer's point of view; this emphasizes the need to look at the patches generated from the practitioner's perspective, which is often neglected in the literature, (2) mixed representations can outperform homogeneous code representations, (3) bug type can affect the effectiveness of different code representations; although current techniques use a single code representation for all bug types, there is no single best code representation applicable to all bug types.

연구 동기 및 목표

• 다양한 코드 표현 방식과 임베딩 방식이 학습 기반 프로그램 복구의 정확도와 복구 조치의 유용성에 미치는 영향을 체계적으로 평가하기 위해.
• 더 높은 수준의 추상화가 모델 성능을 향상시키는 데 기여하는지, 그러나 개발자 사용성은 감소시키는지 조사하기 위해.
• 버그 코드와 수정된 코드에 대해 서로 다른 표현 방식을 사용하는 혼합 표현 방식이 동종 표현 방식보다 효과적인지 탐색하기 위해.
• 개발자 연구를 통해 생성된 복구 조치의 인식된 유용성을 평가하여, 기존 문헌에서 자주 간과되는 실무자 관점의 격차를 메우기 위해.
• 향후 딥러닝 기반 복구에서 코드 표현에 대한 비교 연구를 위해 재사용 가능한 벤치마크 프레임워크인 Reptory를 제공하기 위해.

제안 방법

• 14종의 동종 코드 표현 방식, 4종의 혼합 표현 방식(버그 코드와 수정된 코드에 대해 각각 다른 표현 방식 사용), 3종의 임베딩 방법을 사용하여 21개의 고유한 생성 모델을 훈련시켰다.
• 코드 표현 방식으로는 토큰 시퀀스, AST 순회, 그리고 추상 구문 트리(abstract syntax tree, AST) 경로 기반 인코딩을 포함하며, 원본 및 추상화된 형태 모두를 사용하였다.
• 실세계의 이름 기반 버그(예: 교환된 인자, 잘못된 연산자) 데이터셋을 기반으로 훈련하였으며, 각 버그 유형당 12만 개 이상의 데이터 포인트를 확보하였다.
• 모델 성능은 생성된 복구 조치가 자동으로 유효하고 컴iles블한 코드로 변환 가능한지 여부를 측정하는 자동 패치 가능성 기준으로 평가되었다.
• 생성된 복구 조치의 인식된 유용성을 평가하기 위해 정성적 개발자 연구를 수행하였다.
• 프로그램 복구에서 코드 표현에 대한 재현 가능하고 비교 가능한 실험을 지원하기 위해 Reptory라는 프레임워크를 개발하였다.

실험 결과

연구 질문

• RQ1 다양한 코드 표현 방식은 학습 기반 프로그램 복구에서 생성된 복구 조치의 정확도와 패치 가능성에 어떤 영향을 미치는가?
• RQ2 버그 코드와 수정된 코드에 대해 서로 다른 표현 방식을 사용하는 이종 표현 방식은 동종 표현 방식에 비해 복구 성능을 얼마나 향상시키는가?
• RQ3 코드 표현의 추상화 수준은 개발자의 관점에서 복구 조치의 인식된 유용성에 어떤 영향을 미치는가?
• RQ4 임베딩 방법의 선택이 다양한 버그 유형 간 생성된 복구 조치의 품질에 상당한 영향을 미치는가?
• RQ5 버그 유형에 따라 최적의 코드 표현 방식이 존재하는가, 아니면 전반적으로 가장 우수한 표현 방식이 존재하는가?

주요 결과

• 가장 높은 모델 정확도는 잘못된 이항 연산자 인자 복구에서 99.996%, 잘못된 이항 연산자 복구에서 99.977%, 교환된 인자 복구에서 99.964%를 기록하였으며, 각각 EID(Opnd)-20, EID(Oprt)-20, EID(SA)-20 표현 방식을 사용한 결과였다.
• 더 높은 수준의 추상화는 모델 정확도를 향상시키지만, 개발자 평가에서 복구 조치의 인식된 유용성을 감소시켰으며, 성능과 실용적 유용성 사이의 상충 관계를 시사한다.
• 버그 코드와 수정된 코드에 대해 서로 다른 표현 방식을 사용하는 혼합 표현 방식은 항상 동종 표현 방식을 능가하는 성능을 보였으며, 복구 변환 과정을 더 잘 모델링할 수 있음을 시사한다.
• 연구 결과, 모든 버그 유형에 적용 가능한 유일한 최적 표현 방식은 존재하지 않았으며, 효과성이 버그 유형에 따라 크게 달라졌다.
• 손실이 발생하거나 추상화된 표현 방식은 패치 생성 정확도가 낮을 수 있지만, 여전히 개발자에게 유용한 디버깅 힌트를 제공하여 자동 패치 가능성 이외의 가치를 지닌다.
• Reptory 프레임워크는 재현 가능한 비교 실험을 가능하게 하며, 향후 프로그램 복구에서 코드 표현에 대한 연구를 위한 벤치마크로 공개되었다.