[논문 리뷰] InvAASTCluster: On Applying Invariant-Based Program Clustering to Introductory Programming Assignments

Pedro Orvalho, Mikoláš Janota외 1명|arXiv (Cornell University)|2022. 06. 28.

Online Learning and Analytics인용 수 5

한 줄 요약

이 논문은 초보자 프로그래밍 과제(IPAs)를 위한 새로운 프로그램 클러스터링 기법인 InvAASTCluster를 제안한다. 이 기법은 익명화된 추상구문트리(AASTs)와 동적으로 생성된 프로그램 인variant를 결합하여 의미적 유사성 탐지 능력을 향상시킨다. 인variant를 통해 프로그램의 의미를 포착하고 AAST를 통해 구조적 표현을 활용함으로써, 문법 기반 클러스터링에 비해 의미적으로 동일한 프로그램을 더 잘 식별할 수 있으며, Clara와 같은 클러스터링 기반 프로그램 복구 도구에서 더 빠르고 정확한 복구를 가능하게 한다.

ABSTRACT

Due to the vast number of students enrolled in programming courses, there has been an increasing number of automated program repair techniques focused on introductory programming assignments (IPAs). Typically, such techniques use program clustering to take advantage of previous correct student implementations to repair a new incorrect submission. These repair techniques use clustering methods since analyzing all available correct submissions to repair a program is not feasible. However, conventional clustering methods rely on program representations based on features such as abstract syntax trees (ASTs), syntax, control flow, and data flow. This paper proposes InvAASTCluster, a novel approach for program clustering that uses dynamically generated program invariants to cluster semantically equivalent IPAs. InvAASTCluster's program representation uses a combination of the program's semantics, through its invariants, and its structure through its anonymized abstract syntax tree (AASTs). Invariants denote conditions that must remain true during program execution, while AASTs are ASTs devoid of variable and function names, retaining only their types. Our experiments show that the proposed program representation outperforms syntax-based representations when clustering a set of correct IPAs. Furthermore, we integrate InvAASTCluster into a state-of-the-art clustering-based program repair tool. Our results show that InvAASTCluster advances the current state-of-the-art when used by clustering-based repair tools by repairing around 13% more students' programs, in a shorter amount of time.

연구 동기 및 목표

• 자동 복구를 위해 초보자 프로그래밍 과제(IPAs)에서 의미적으로 동일한 정확한 학생 구현을 효율적으로 식별하는 데 도전한다.
• 문법 기반 및 제어 흐름 기반 프로그램 표현 방식의 한계를 극복하여, 의미적 동치성을 포착하지 못할 수 있는 취약성을 제거한다.
• 구조적(AAST) 및 의미적(인variant) 특징을 통합한 강력한 프로그램 표현 방식을 개발하여 클러스터링 정확도를 향상시킨다.
• 제안된 방법이 실제 프로그램 복구 파이프라인에 통합되어 기존 최첨단 클러스터링 기법들보다 뛰어난 성능을 보임을 입증한다.
• 클러스터 수를 줄이면서도 복구 성공률를 높임으로써 MOOC에서 더 효과적이고 효율적인 자동 피드백을 가능하게 한다.

제안 방법

• 변수 이름의 차이를 유지하면서도 프로그램의 구조를 표현하기 위해 익명화된 추상구문트리(AASTs)를 구성한다.
• 다양한 테스트 실행을 통해 Daikon를 사용해 프로그램 인variant를 동적으로 생성하여 루프 인variant 및 변수 간 관계와 같은 의미적 성질을 포착한다.
• 각 프로그램에 대해 AAST와 인variant 집합을 통합한 벡터 표현을 생성하여 유사도 기반 클러스터링을 가능하게 한다.
• 통합된 벡터 표현에 대해 코사인 유사도를 사용하여 프로그램 간의 유사도를 계산하고 의미적으로 동일한 프로그램들을 클러스터로 묶는다.
• InvAASTCluster를 Clara 프로그램 복구 프레임워크에 통합하여 복구 성능 및 확장성에 미치는 영향을 평가한다.
• 클러스터 기반 복구를 적용: 각 잘못된 학생 제출물에 대해 가장 가까운 올바른 프로그램을 클러스터에서 식별하고 최소한의 수정을 가한다.

실험 결과

연구 질문

• RQ1 AAST와 동적으로 생성된 인variant를 결합한 프로그램 표현 방식이 문법 중심 표현 방식에 비해 의미적으로 동일한 IPAs에 대한 클러스터링 정확도를 향상시키는가?
• RQ2 인variant의 사용이 초보자 프로그래밍 과제에서 흔히 볼 수 있는 작은 절차형 프로그램에서 의미적 동치성을 탐지하는 데에 기여하는가?
• RQ3 Clara와 같은 최첨단 클러스터링 기반 프로그램 복구 도구에 통합되었을 때 InvAASTCluster는 실제로 어떤 성능을 보이는가?
• RQ4 InvAASTCluster는 모든 정확한 학생 제출물을 커버하기 위해 필요한 클러스터 수를 줄일 수 있는가? 동시에 복구 성공률는 유지 또는 향상되는가?
• RQ5 제안된 방법이 기존 클러스터링 기법들에 비해 더 빠른 복구 시간과 더 높은 복구 커버리지 달성에 기여하는가?

주요 결과

• AAST와 인variant를 결합한 InvAASTCluster 표현 방식은 IPA에 대한 클러스터링 정확도에서 문법 중심 표현 방식을 크게 능가한다.
• Clara 복구 프레임워크에 통합된 결과, 원래 Clara 클러스터링 방법보다 더 많은 잘못된 학생 제출물을 복구했다.
• 필요한 클러스터 수를 줄였지만 복구 정확도는 유지 또는 향상시켜 확장성 향상에 기여했다.
• 더 정확하고 의미적으로 의미 있는 클러스터 대표자 덕분에 InvAASTCluster를 사용한 복구 과정이 더 빨라졌다.
• 다양한 프로그래밍 연습 과제에서 뛰어난 강건성을 보이며, 클러스터 형성의 정밀도와 재현율 모두 일관되게 향상됨을 입증했다.
• 프로그램 표현에 인variant를 통합함으로써, 변수 이름이나 제어 흐름 순서가 다른 프로그램들 사이의 의미적 동치성을 더 잘 탐지할 수 있었다.