[논문 리뷰] Play to Grade: Testing Coding Games as Classifying Markov Decision Process

Allen Nie, Emma Brunskill외 1명|arXiv (Cornell University)|2021. 10. 27.

Reinforcement Learning in Robotics참고 문헌 38인용 수 4

한 줄 요약

이 논문은 강화학습을 활용하여 상호작용형 코딩 과제를 자동으로 평가하는 Play to Grade 방법을 제안한다. 이는 각 과제를 마코프 결정 과정(MDPs)으로 간주함으로써 이루어지며, 학생의 프로그램으로부터 차별적 행동 경로를 탐색하고 샘플링하는 에이전트를 훈련시켜, 정확도 93.4–94.0%로 정상 프로그램과 버그가 있는 프로그램을 구분하는 분류기 작동을 가능하게 한다. 이는 코드-텍스트 전용 기준보다 유의하게 뛰어난 성능을 보인다.

ABSTRACT

Contemporary coding education often presents students with the task of developing programs that have user interaction and complex dynamic systems, such as mouse based games. While pedagogically compelling, there are no contemporary autonomous methods for providing feedback. Notably, interactive programs are impossible to grade by traditional unit tests. In this paper we formalize the challenge of providing feedback to interactive programs as a task of classifying Markov Decision Processes (MDPs). Each student's program fully specifies an MDP where the agent needs to operate and decide, under reasonable generalization, if the dynamics and reward model of the input MDP should be categorized as correct or broken. We demonstrate that by designing a cooperative objective between an agent and an autoregressive model, we can use the agent to sample differential trajectories from the input MDP that allows a classifier to determine membership: Play to Grade. Our method enables an automatic feedback system for interactive code assignments. We release a dataset of 711,274 anonymized student submissions to a single assignment with hand-coded bug labels to support future research.

연구 동기 및 목표

• 온라인 교육 플랫폼에서 상호작용형 프로그래밍 과제에 대한 자동 피드백의 부족을 해결하기 위해.
• 기존의 단위 테스트와 코드-텍스트 분석의 한계를 극복하여 동적이고 사용자 상호작용이 있는 프로그램을 평가하기 위해.
• 정적 코드 분석에 의존하지 않고도 학생이 작성한 상호작용형 프로그램의 버그를 식별하는 확장성 있고 일반화 가능한 방법을 개발하기 위해.
• 실시간으로 기능적 정확성과 미묘한 행동 버그를 모두 탐지할 수 있는 피드백 시스템을 구현하기 위해.
• 711,274건의 익명화된 학생 제출물과 수작업으로 레이블링된 버그 정보를 포함한 대규모 데이터셋을 공개하여 향후 연구를 지원하기 위해.

제안 방법

• 각 학생 프로그램이 고유한 MDP를 정의하는 상호작용형 코딩 과제를 상태, 행동, 보상 동역학을 포함한 MDP로 수학적으로 정의한다.
• 학생의 프로그램을 재현하고 정상과 고장난 동작 간의 차이를 드러내는 경로를 샘플링하는 공격적 에이전트를 훈련시킨다.
• 정상 MDP와 버그가 있는 MDP 간의 차이를 식별할 수 있도록 경로의 임베딩을 학습하는 대비 학습 프레임워크(Contrastive HoareLSTM)를 사용한다.
• 최종 분류 성능의 강건성과 일반화 능력을 향상시키기 위해 10개의 대비 거리 함수를 활용한 다중 거리 투표 메커니즘을 적용한다.
• 잠재적 버그를 드러내는 고영향도의 차별적 경로를 생성하기 위해 사전 훈련된 '플레이-윈' 에이전트를 활용한다.
• 재현 가능성을 높이고 향후 연구를 지원하기 위해 OpenAI Gym 호환 환경을 설계하고 Bounce 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 코드 텍스트 분석에 의존하지 않고도 강화학습을 활용해 상호작용형 학생 프로그램의 버그를 자동으로 탐지할 수 있는가?
• RQ2 협동 에이전트-분류기 프레임워크는 학생 게임의 정상 MDP와 고장난 MDP 간의 미묘한 행동 차이를 효과적으로 식별할 수 있는가?
• RQ3 실세계 코딩 과제에서 경로 기반 분류 성능은 전통적인 코드-텍스트 기반 평가 방법보다 어떻게 비교되는가?
• RQ4 Play to Grade 프레임워크는 사용자 입력이 있는 비게임형 상호작용 프로그래밍 과제에 얼마나 잘 일반화되는가?
• RQ5 반복적 훈련은 다양한 버그 패tern을 식별하는 데 있어 분류기의 강건성과 정확도를 향상시킬 수 있는가?

주요 결과

• Play to Grade 방법은 학생 프로그램을 정상 또는 고장 났다고 분류하는 데 93.4–94.0%의 정확도를 기록하였으며, 코드-텍스트 전용 기준 대비 19–25%포인트의 성능 향상을 보였다.
• 경로 샘플링을 통한 대비 학습 접근법은 다수 클래스 기준(50.0% 정확도)보다 유의미하게 뛰어난 성능을 보였다.
• 본체 분포에서는 99.6%의 재현율, 尾영역 분포에서는 97.6%의 재현율을 기록하여 실제로 고장 났음을 확인한 프로그램을 강력하게 탐지함을 시사한다.
• 거의 완벽한 재현율을 확보하면서도 높은 정밀도(88.6–91.0%)를 유지하여 임의의 경고(false positive)를 최소화하였다.
• 일반적인 해법과 희귀한 해법을 포함한 다양한 프로그램 분포에 대해 프레임워크가 잘 일반화됨을 확인하였다.
• 711,274건의 제출물과 수작업으로 레이블링된 버그 정보를 포함한 Bounce 데이터셋의 공개는 향후 자동 피드백 시스템 연구를 위한 유의미한 기준이 되었다.