[논문 리뷰] Evaluating Representation Learning of Code Changes for Predicting Patch Correctness in Program Repair

Haoye Tian, Kui Liu외 5명|arXiv (Cornell University)|2020. 08. 07.

Software Engineering Research참고 문헌 65인용 수 6

한 줄 요약

이 논문은 자동 프로그램 수리(Automated Program Repair, APR)에서 패치의 정확성을 예측하기 위해 분산 표현 학습 기법—특히 BERT, Doc2Vec, code2vec, CC2Vec—을 평가한다. BERT 기반 코드 변경 임베딩에 로지스틱 회귀 분류기를 적용한 결과, 1,000개의 레이블이 부여된 중복 제거된 데이터셋에서 AUC가 0.8에 도달하였으며, 이는 학습된 임베딩이 잘못된 패치를 효과적으로 식별하고 동적 분석 기반 방법(예: PATCH-SIM)을 능가할 수 있음을 보여준다.

ABSTRACT

A large body of the literature of automated program repair develops approaches where patches are generated to be validated against an oracle (e.g., a test suite). Because such an oracle can be imperfect, the generated patches, although validated by the oracle, may actually be incorrect. While the state of the art explore research directions that require dynamic information or rely on manually-crafted heuristics, we study the benefit of learning code representations to learn deep features that may encode the properties of patch correctness. Our work mainly investigates different representation learning approaches for code changes to derive embeddings that are amenable to similarity computations. We report on findings based on embeddings produced by pre-trained and re-trained neural networks. Experimental results demonstrate the potential of embeddings to empower learning algorithms in reasoning about patch correctness: a machine learning predictor with BERT transformer-based embeddings associated with logistic regression yielded an AUC value of about 0.8 in predicting patch correctness on a deduplicated dataset of 1000 labeled patches. Our study shows that learned representations can lead to reasonable performance when comparing against the state-of-the-art, PATCH-SIM, which relies on dynamic information. These representations may further be complementary to features that were carefully (manually) engineered in the literature.

연구 동기 및 목표

• 학습된 코드 표현이 자동 프로그램 수리에서 패치의 정확성 예측에 기여할 수 있는지 조사하기 위해.
• 사전 훈련된 및 재훈련된 신경망이 버그가 있는 코드와 수정된 코드 간의 의미적·구문적 차이를 포착하는 임베딩을 생성하는 데 얼마나 효과적인지 평가하기 위해.
• 동적 실행 트레이스에 의존하는 최신 기법들과 비교해 표현 학습 기반 방법의 성능을 평가하기 위해.
• 수동으로 설계된 정적 특징(예: ODS 특징)과 학습된 임베딩 간의 상호보완성을 평가하기 위해.
• 표현 학습을 APR 파이프라인에 통합하여 잘못된 패치를 걸러내는 데 있어 실증적 지침을 제공하기 위해.

제안 방법

• 버그가 있는 코드와 수정된 코드의 조각을 대상으로 BERT, Doc2Vec, code2vec, CC2Vec 등의 다양한 표현 학습 모델을 활용해 고밀도 벡터 임베딩을 생성하였다.
• 버그가 있는 코드와 수정된 코드의 임베딩 간 코사인 유사도를 사용해 유사도 점수를 산출하고, 이를 통해 잘못된 패치를 걸러내는 데 활용하였다.
• 학습된 임베딩을 기반으로 지도 학습 분류기(로지스틱 회귀, 결정 트리, 나이브 베이즈)를 훈련하여 패치의 정확성을 예측하였다.
• APR 데이터셋에 대해 BERT 및 기타 모델을 재훈련하여 도메인 특화된 표현 품질을 향상시켰다.
• 1,000개의 레이블이 부여된 패치 데이터셋에 중복 제거 프로세스를 적용하여 평가의 견고성을 확보하였다.
• 학습된 임베딩을 수동으로 설계한 정적 특징(예: ODS 특징)과 융합하여 예측 성능에서의 상호보완성을 평가하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 및 미세조정된 신경망 모델이 잘못된 패치와 올바른 패치를 효과적으로 구분할 수 있는 코드 변경 임베딩을 생성할 수 있는가?
• RQ2 BERT, Doc2Vec, code2vec, CC2Vec 등의 다양한 표현 학습 모델이 패치 정확성 신호를 포착하는 데 얼마나 효과적인가?
• RQ3 학습된 임베딩에서 유도된 코사인 유사도 점수를 기반으로 한 유사도 임계값을 사용해 잘못된 패치를 얼마나 효과적으로 걸러낼 수 있는가?
• RQ4 학습된 임베딩을 사용하는 기계 학습 예측기의 성능이 동적 실행 트레이스에 의존하는 최신 기법(PATCH-SIM 등)과 비교해 어떻게 되는가?
• RQ5 학습된 임베딩을 수동으로 설계한 정적 특징과 효과적으로 융합하여 패치 정확성 예측 성능을 향상시킬 수 있는가?

주요 결과

• 로지스틱 회귀와 함께 사용된 BERT 기반 임베딩 모델은 중복 제거된 1,000개의 레이블이 부여된 데이터셋에서 AUC 0.8를 달성하여 패치 정확성 예측에 강력한 예측 능력을 보였다.
• 학습된 임베딩에서 유도된 코사인 유사도 점수는 사용된 유사도 임계값에 따라 잘못된 패치의 31.5%에서 94.9%까지 걸러내는 데 성공하였다.
• BERT 임베딩을 사용한 로지스틱 회귀 모델의 성능(F-measure: 0.72, AUC: 0.8)은 동일한 평가 환경에서 최신 기술인 동적 분석 기반 방법인 PATCH-SIM을 능가하였다.
• 학습된 임베딩은 ODS와 같은 수동으로 설계된 정적 특징과 융합되었을 때 상호보완적인 가치를 보였으며, 하이브리드 예측 접근법의 잠재력을 시사하였다.
• APR 전용 데이터셋에 대해 사전 훈련된 모델인 BERT를 재훈련함으로써, 고정된 사전 훈련 상태에서 사용할 때보다 더 뛰어난 분류 능력을 갖춘 임베딩을 얻을 수 있었다.
• 평가된 모델들 중에서 BERT와 CC2Vec가 정확성 예측에 가장 효과적인 임베딩을 생성하였으며, Doc2Vec와 code2vec는 이 특정 작업에 대해 낮은 성능을 보였다.