[논문 리뷰] FAPR: Fast and Accurate Program Repair for Introductory Programming Courses

Yunlong Lu, Na Meng외 1명|arXiv (Cornell University)|2021. 07. 14.

Software Testing and Debugging Techniques참고 문헌 33인용 수 8

한 줄 요약

FAPR는 문법 인코딩과 테스트 기반 검증을 활용하여 토큰 수준 비교를 통해 최소화되고 올바른 수정을 생성하는, 초급 프로그래밍 과정을 위한 빠르고 정확한 프로그램 수리 시스템이다. 이 시스템은 샘플링된 수정 사례에서 95.5%의 수리 제안 커버리지와 89.6%의 정확도를 달성하며, C 및 C++ 프로그램에 대해 속도, 정확도, 다국어 이식성 면에서 Clara를 능가한다.

ABSTRACT

In introductory programming courses, it is challenging for instructors to provide debugging feedback on students' incorrect programs. Some recent tools automatically offer program repair feedback by identifying any differences between incorrect and correct programs, but suffer from issues related to scalability, accuracy, and cross-language portability. This paper presents FAPR -- our novel approach that suggests repairs based on program differences in a fast and accurate manner. FAPR is different from current tools in three aspects. First, it encodes syntactic information into token sequences to enable high-speed comparison between incorrect and correct programs. Second, to accurately extract program differences, FAPR adopts a novel matching algorithm that maximizes token-level matches and minimizes statement-level differences. Third, FAPR relies on testing instead of static/dynamic analysis to validate and refine candidate repairs, so it eliminates the language dependency or high runtime overhead incurred by complex program analysis. We implemented FAPR to suggest repairs for both C and C++ programs; our experience shows the great cross-language portability of FAPR. More importantly, we empirically compared FAPR with a state-of-the-art tool Clara. FAPR suggested repairs for over 95.5% of incorrect solutions. We sampled 250 repairs among FAPR's suggestions, and found 89.6% of the samples to be minimal and correct. FAPR outperformed Clara by suggesting repairs for more cases, creating smaller repairs, producing higher-quality fixes, and causing lower runtime overheads. Our results imply that FAPR can potentially help instructors or TAs to effectively locate bugs in incorrect code, and to provide debugging hints/guidelines based on those generated repairs.

연구 동기 및 목표

• 초급 프로그래밍 과정에서 확장 가능하고 정확하며 다국어 간 이식 가능한 프로그램 수리 피드백을 제공하는 데 도전하는 것.
• 복잡한 정적 또는 동적 분석에 의존하는 기존 도구들이 겪는 높은 런타임 오버헤드와 언어 종속성 문제를 줄이는 것.
• 문법 인코딩과 문장 수준의 차이 최소화를 통해 코드 변경을 최소화하면서도 알고리즘적 의도를 유지함으로써 수리 품질을 향상시키는 것.
• 정적 또는 동적 프로그램 분석에 의존하지 않고 테스트 케이스와 토큰 수준 비교만을 사용하여 효율적이고 이식 가능하며 정확한 수리 제안을 가능하게 하는 것.

제안 방법

• FAPR는 잘못된 프로그램과 가장 유사한 최대 100개의 올바른 프로그램을 토큰 시퀀스의 최장 공통 부분수열(LCS)을 통해 식별한다.
• 추상 구문 트리(_ASTs_)의 깊이 정보를 토큰 시퀀스에 통합하여 문법적 구조를 인코딩하고 비교 정확도를 향상시킨다.
• 새로운 매칭 알고리즘이 문장 수준의 차이를 최소화하는 LCS를 선택함으로써, 수정이 최소화되고 의미적으로 유의미한 것을 보장한다.
• 선택된 올바른 프로그램을 정규화하여 잘못된 프로그램의 변수 이름으로 대체함으로써 구문을 일치시킨다.
• 정규화된 올바른 프로그램과 잘못된 프로그램 간의 코드 차이 부분을 탐색하여 후보 수정을 생성한다.
• 각 후보 수정은 자동화된 테스트를 통해 검증되어 정적 또는 동적 프로그램 분 析에 의존하지 않고도 정확성을 확보한다.

실험 결과

연구 질문

• RQ1 복잡한 정적 또는 동적 분석에 의존하지 않고도 빠르고 정확한 프로그램 수리 시스템을 구현할 수 있는가?
• RQ2 문법 인코딩이 강화된 토큰 수준 비교는 최소화되고 올바른 수정을 생성하는 데 얼마나 효과적인가?
• RQ3 테스트 기반 검증 접근 방식은 다국어 이식성과 수리 품질을 얼마나 잘 보장할 수 있는가?
• RQ4 FAPR은 Clara와 같은 최첨단 도구에 비해 수리 커버리지, 정확도, 성능 면에서 어떻게 비교되는가?

주요 결과

• FAPR는 6,676개의 잘못된 C 프로그램 중 99%에 대해 수정을 제안했으며, 20,897개의 C/C++ 프로그램 중 95.5%에 대해 제안하여 높은 수리 커버리지를 입증했다.
• 250개의 샘플링된 수정 사례 중 89.6%가 최소화되고 올바르게 수정되어 높은 수리 품질을 나타냈다.
• FAPR는 모든 지표에서 Clara를 능가했다: 더 높은 수리 제안 비율, 더 작은 수정 크기, 더 뛰어난 수정 품질, 더 낮은 런타임 오버헤드.
• 14,221개의 올바른 프로그램에 대해 총 전처리 시간이 단 306초에 불과하여 높은 효율성을 입증했다.
• C에서 C++로의 이식에 거의 개발자 노력이 필요하지 않아 강력한 다국어 이식성을 확인했다.
• FAPR의 테스트 기반 검증은 언어별 분석에 의존하는 것을 제거하여 다양한 프로그래밍 언어에 넓은 적용 가능성을 확보했다.