[논문 리뷰] Deep Learning for Bug-Localization in Student Programs

Rahul Gupta, Aditya Kanade외 1명|arXiv (Cornell University)|2019. 05. 28.

Software Testing and Debugging Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 트리 컬러리셔널 신경망을 사용하여 테스트 결과를 예측하고 신경망 기반 기여도 기법을 활용해 버그가 있는 코드 라인을 식별함으로써 학생 프로그램에서 의미적 버그를 국지화하는 새로운 딥러닝 접근법을 제시한다. 이 방법은 프로그램 실행이나 히우리스틱 기반 분석 없이도 최신의 동적 및 정적 기준보다 뛰어난 성능을 보이며, 프로그래밍 언어에 관계없이 적용 가능하다.

ABSTRACT

Providing feedback is an integral part of teaching. Most open online courses on programming make use of automated grading systems to support programming assignments and give real-time feedback. These systems usually rely on test results to quantify the programs' functional correctness. They return failing tests to the students as feedback. However, students may find it difficult to debug their programs if they receive no hints about where the bug is and how to fix it. In this work, we present the first deep learning based technique that can localize bugs in a faulty program w.r.t. a failing test, without even running the program. At the heart of our technique is a novel tree convolutional neural network which is trained to predict whether a program passes or fails a given test. To localize the bugs, we analyze the trained network using a state-of-the-art neural prediction attribution technique and see which lines of the programs make it predict the test outcomes. Our experiments show that the proposed technique is generally more accurate than two state-of-the-art program-spectrum based and one syntactic difference based bug-localization baselines.

연구 동기 및 목표

• 자동 평가가 실패한 테스트만 보고하는 대규모 온라인 프로그래밍 수업에서 실질적인 피드백을 제공하는 데 도전하는 것.
• 코드 실행이나 기준 구현체에 의존하지 않고도 학생 프로그램 내에서 버그가 있는 코드 라인을 자동으로 국지화할 수 있도록 하는 것.
• 히우리스틱 기반 정적 분석이나 동적 스펙트럼 분석을 피하는 프로그래밍 언어에 관계없는 기법을 개발하는 것.
• 고정밀도로 의심스러운 코드 라인을 식별하여 피드백의 질을 향상시켜 학생과 강사가 모두 활용할 수 있도록 하는 것.

제안 방법

• 프로그램의 AST와 테스트 ID를 입력으로 사용하여 기능적 정확성(성공/실패)을 예측하는 새로운 트리 컬러리셔널 신경망(Tree-CNN)을 훈련한다.
• 최신의 신경망 예측 기여도 기법을 사용하여 네트워크의 예측 결과를 소스 코드의 특정 라인으로 추적한다.
• 기준 비교 시 검색 비용을 줄이기 위해 프로그램 임베딩에 K-means 군집화를 적용하여 효율성을 향상시키되, 정확도를 손상시키지 않는다.
• AST에서 유도된 프로그램 임베딩을 활용하여 언어에 관계없는 분석을 가능하게 하며, 구문이나 구조에 의존하는 히우리스틱을 피한다.
• 동일한 군집에 속한 정상 프로그램 세트와의 기여도 점수를 비교하여 버그가 의심되는 라인을 순위 매긴다.
• 명시적인 버그 레이블이 필요 없도록 분류 모델을 사용하여 훈련 과정에서의 버그 표기 없이도 기능을 수행한다.

실험 결과

연구 질문

• RQ1 프로그램의 AST와 테스트 ID 쌍으로 훈련된 딥러닝 모델이 프로그램을 실행하지 않고도 기능적 정확성을 정확히 예측할 수 있는가?
• RQ2 신경망 기반 기여도 기법이 오류가 있는 프로그램에서 가장 의심스러운 코드 라인을 효과적으로 식별하여 의미적 버그를 국지화할 수 있는가?
• RQ3 기존의 스펙트럼 기반 및 구문 차이 기반 버그 국지화 기법과 비교해 본다면, 제안된 방법의 정확도는 어떠한가?
• RQ4 프로그램 임베딩에 대한 군집화가 정확도를 저하시키지 않으면서도 얼마나 효율성을 향상시키는가?
• RQ5 제안된 기법은 언어에 특화된 튜닝 없이 다양한 프로그래밍 언어로 일반화될 수 있는가?

주요 결과

• 제안된 딥러닝 기반 버그 국지화 기법은 대부분의 평가 지표에서 두 가지 최신 동적 스펙트럼 기반 방법과 하나의 정적 구문 차이 기반 방법을 모두 초월한다.
• 프로그램 임베딩에 K-means 군집화를 적용함으로써 기준 검색 비용을 5배 감소시켰고, 모든 지표에서 정확도가 0.5% 이내로 떨어지지 않았다.
• 모델은 높은 정밀도로 버그가 있는 라인을 식별했으며, 예시 사례에서 상위 5개의 의심 라인에 실제 버그(라인 9와 10)가 포함되었다.
• 이 기법은 AST 기반 임베딩에 의존하므로 프로그래밍 언어에 관계없이 적용 가능하며, 구문이나 구조에 의존하는 히우리스틱이 필요 없다.
• 훈련 과정에서 수동 레이블링, 기준 구현체, 또는 프로그램 실행이 필요 없어 대규모 온라인 수업에 쉽게 확장 가능하다.
• 신경망 기반 기여도 메커니즘이 실행 트레이스에 접근할 수 없음에도 불구하고, 실패 예측에 기여도가 높은 라인을 강조하여 의미적 버그를 성공적으로 국지화했다.