[논문 리뷰] Computing with Codio at Coventry University: Online virtual Linux boxes and automated formative feedback

David Croft, Matthew England|arXiv (Cornell University)|2018. 12. 10.

Online Learning and Analytics참고 문헌 3인용 수 4

한 줄 요약

이 논문은 코vent리 대학교가 학부 프로그래밍 커리큘럼에 Codio를 통합한 사례를 제시한다. Codio는 온라인 가상 리눅스 환경과 자동화된 형성 평가 피드백을 제공하는 클라우드 기반 플랫폼이다. 이 시스템은 학생 코드의 자동 테스팅을 통해 즉각적이고 일관된 피드백을 제공하여 학생 성취도 향상, 만족도 증가, 참여도 추적 향상에 기여했으며, 기관 규정 및 초도 개발 부담과 같은 도전 과제가 존재했음에도 불구하고 성과를 거두었다.

ABSTRACT

We describe our experience using Codio at Coventry University in our undergraduate programming curriculum. Codio provides students with online virtual Linux boxes, and allows staff to equip these with guides written in markdown and supplemental tasks that provide automated feedback. The use of Codio has coincided with a steady increase in student performance and satisfaction as well as far greater data on student engagement and performance.

연구 동기 및 목표

• 대규모 프로그래밍 모듈에서 일관성 없고 지연되며 자원을 많이 소모하는 형성 평가 피드백 문제를 해결하기 위해.
• 480명 이상의 1학년 학부생이 참여하는 소개 프로그래밍 과목에서 학생의 참여도와 성취도를 향상시키기 위해.
• 다양한 교육자와 학생의 숙련도 수준 간 일관성 있고 즉각적인 피드백을 제공하기 위해.
• 시간 투자 및 활동 완료율 등의 자동 추적을 통해 학생의 학습 진행 상황을 더 잘 모니터링하기 위해.

제안 방법

• 모든 학생을 대상으로 표준화된 개발 환경으로서 Codio의 클라우드 기반 가상 리눅스 머신을 구현한 것.
• 자동 피드백을 트리거하는 임bed된 코딩 작업을 포함한 상호작용형 마크다운 형식 가이드를 제작한 것.
• 실시간으로 학생의 코드 제출 사항을 평가하기 위해 단위 테스트를 통한 자동 테스팅을 구현한 것.
• 기관 제약에도 불구하고 기존의 가상 학습 환경(VLE)과 Codio를 통합하여 과정 관리를 위한 것.
• Codio의 분석 기능을 활용해 참여도를 추적하며, 주당 소비 시간 및 과제 완료율 등을 포함한 데이터를 확보한 것.
• 대학 자체의 모oodl 인프라 내에서 단위 테스트를 사용하는 자동 요약 평가를 위한 보조 도구로 Coderunner을 도입한 것.

실험 결과

연구 질문

• RQ1 클라우드 기반 가상 환경에서 자동 형성 평가 피드백이 대규모 학부 프로그래밍 모듈에서 학생 성취도 향상에 기여할 수 있는가?
• RQ2 기존의 랩 기반 교육과 비교해 Codio 사용이 학생의 참여도와 만족도에 어떤 영향을 미치는가?
• RQ3 자동 피드백이 평가 일관성을 유지하면서도 학술 인력의 부담을 얼마나 줄일 수 있는가?
• RQ4 기존 교육 인프라에 제3자 플랫폼인 Codio를 통합할 때 발생하는 기관적 및 기술적 과제는 무엇인가?

주요 결과

• Codio 도입 후 평균 학생 성취도가 유의미하게 향상되었으며, 퀴즈 점수는 57%에서 63%로, 시험 점수는 51%에서 59%로 상승했다.
• 학생 만족도는 82%에서 89%로 상승했으며, 자유 기입 평가 중 84%가 Codio에 대해 긍정적인 평가를 내렸다.
• 참여도 추적을 통해 주간 소비 시간 및 과제 완료율 등의 세부 데이터를 확보했으며, 개별 학생의 활동 패턴을 시간에 따라 시각화할 수 있었다.
• 기존 프로그래밍 경험을 가진 학생들은 선호하는 IDE를 사용할 수 없는 제약으로 인해 Codio에 대해 비판적인 반응을 보였으며, 이는 표준화와 융통성 사이의 상충 관계를 보여주었다.
• 기술적 및 행정적 장애에도 불구하고 Codio는 12명의 다양한 강사와 40개의 랩 세션을 대상으로 일관되고 확장 가능한 피드백을 제공할 수 있었다.
• 이제 대학은 Codio의 평가 엔진 대체로 로컬에 호스팅된 오픈소스 도구인 Coderunner을 활용해 요약 평가를 자동화하고 있다.