[논문 리뷰] Dynamic Neural Program Embedding for Program Repair

Ke Wang, Rishabh Singh외 1명|arXiv (Cornell University)|2017. 11. 20.

Software Engineering Research참고 문헌 12인용 수 54

한 줄 요약

논문은 런타임 실행 추적에서 학습된 의미론적 동적 프로그램 임베딩을 제안하여, 프로그램 분석 과제의 오류 분류 및 수정 효율성을 개선하고, 구문 기반 임베딩보다 우수하다.

ABSTRACT

Neural program embeddings have shown much promise recently for a variety of program analysis tasks, including program synthesis, program repair, fault localization, etc. However, most existing program embeddings are based on syntactic features of programs, such as raw token sequences or abstract syntax trees. Unlike images and text, a program has an unambiguous semantic meaning that can be difficult to capture by only considering its syntax (i.e. syntactically similar pro- grams can exhibit vastly different run-time behavior), which makes syntax-based program embeddings fundamentally limited. This paper proposes a novel semantic program embedding that is learned from program execution traces. Our key insight is that program states expressed as sequential tuples of live variable values not only captures program semantics more precisely, but also offer a more natural fit for Recurrent Neural Networks to model. We evaluate different syntactic and semantic program embeddings on predicting the types of errors that students make in their submissions to an introductory programming class and two exercises on the CodeHunt education platform. Evaluation results show that our new semantic program embedding significantly outperforms the syntactic program embeddings based on token sequences and abstract syntax trees. In addition, we augment a search-based program repair system with the predictions obtained from our se- mantic embedding, and show that search efficiency is also significantly improved.

연구 동기 및 목표

• 구문 기반 프로그램 표현이 의미를 포착하는 데 근본적인 한계를 보인다.
• 프로그램 실행 추적(변수 추적, 상태 추적, 의존성 강제)을 통해 의미를 포착하는 동적 프로그램 임베딩을 도입한다.
• 프로그래밍 과제에서 일반적인 학생 오류 패턴 예측에 대한 임베딩을 평가한다.
• 의미 예측으로 가이드된 검색 기반 수리의 효율성을 향상시키는 동적 임베딩을 보여준다.

제안 방법

• 프로그램 실행을 동적 추적으로 표현: 변수 추적, 상태 추적, 및 의존성 강제 하이브리드.
• GRU 기반 RNN으로 추적을 인코딩하고 풀링으로 결합해 프로그램 임베딩을 생성한다.
• 변수 추적 간의 데이터/제어 의존성을 강제하여 프로그램 의미를 더 잘 포착한다.
• 오류 패턴 예측 및 SarfGen에의 통합을 통한 안내된 수리에서 임베딩을 학습 및 평가한다.
• 동적 임베딩과 구문 기반 기준선 비교: 런타임 트레이스, 토큰, 및 AST 인코더를 비교한다.

실험 결과

연구 질문

• RQ1 프로그램 실행 추적으로 학습된 동적 임베딩이 오류 패턴 예측에 대해 구문 기반 임베딩을 능가할 수 있는가?
• RQ2 수정 우선 순위를 두고 탐색 기반 수리 시스템의 효율성을 향상시키는가?
• RQ3 어떤 임베딩 전략(변수 추적, 상태 추적, 또는 의존성 강제)이 수리 과제에 대한 프로그램 의미를 가장 잘 포착하는가?
• RQ4 동적 임베딩이 서로 다른 프로그래밍 문제 및 데이터 세트에서 얼마나 잘 일반화되는가?

주요 결과

프로그래밍 문제	변수 추적	상태 추적	의존성 강제	런타임 구문 트레이스	토큰	AST
Print Chessboard	93.9%	95.3%	99.3%	26.3%	16.8%	16.2%
Count Parentheses	92.7%	93.8%	98.8%	25.5%	19.3%	21.7%
Generate Binary Digits	92.1%	94.5%	99.2%	23.8%	21.2%	20.9%

• 동적 임베딩은 일반적인 학생 오류 패턴 예측에서 구문 기반 임베딩을 현저히 능가(정확도 92% 이상 vs 27% 미만).
• 의존성 강제 임베딩은 인코딩 중 변수 의존성을 통합하여 의미 인식 표현을 강하게 제공합니다.
• 동적 임베딩을 사용하여 SarfGen을 안내하면 수정 수가 증가할수록 수리 시간에서 상당한 속도 향상을 얻습니다.
• 구문 기반 트레이스(런타임)는 동적 트레이스에 비해 성능이 저조하여 구문 표현의 의미적 간극을 강조합니다.