[논문 리뷰] An Exploratory Analysis of Feedback Types Used in Online Coding Exercises

Natalie Kiesler|arXiv (Cornell University)|2022. 06. 07.

Online Learning and Analytics인용 수 4

한 줄 요약

이 연구는 CodingBat, Scratch, 그리고 Blockly의 온라인 코딩 연습에서 Narciss의 튜터링 피드백 프레임워크와 Keuning 등이 정의한 하위유형을 사용하여 피드백 유형을 분석한다. 분석 결과, 피드백은 종종 혼합되어 있으며, 일반적 피드백과 개인화된 피드백 간의 구분이 부족하고, 프로그래밍 교육에서 필수적인 네 가지 지식 유형(사실적, 개념적, 절차적, 메타인지)을 반영하지 못함을 확인하였다. 이는 교육 기술 설계에서 보다 세분화된 피드백 유형 체계가 필요하다는 것을 시사한다.

ABSTRACT

Online coding environments can help support computing students gain programming practice at their own pace. Especially informative feedback can be beneficial during such self-guided, independent study phases. This research aims at the identification of feedback types applied by CodingBat, Scratch and Blockly. Tutoring feedback as coined by Susanne Narciss along with the specification of subtypes by Keuning, Jeuring and Heeren constitute the theoretical basis. Accordingly, the five categories of elaborated feedback (knowledge about task requirements, knowledge about concepts, knowledge about mistakes, knowledge about how to proceed, and knowledge about meta-cognition) and their subtypes were utilized for the analysis of available feedback options. The study revealed difficulties in identifying clear-cut boundaries between feedback types, as the offered feedback usually integrates more than one type or subtype. Moreover, currently defined feedback types do not rigorously distinguish individualized and generic feedback. The lack of granularity is also evident in the absence of subtypes relating to the knowledge type of the task. The analysis thus has implications for the future design and investigation of applied tutoring feedback. It encourages future research on feedback types and their implementation in the context of programming exercises to define feedback types that match the demands of novice programmers.

연구 동기 및 목표

• 온라인 코딩 연습에서 CodingBat, Scratch, 그리고 Blockly에서 사용되는 정보 제공형 튜터링 피드백의 유형을 특정하고 분류하기.
• 이론적 피드백 유형 체계와 실제 프로그래밍 교육 도구에서의 피드백 구현 간의 일치성 분석하기.
• 특히 프로그래밍과 관련된 지식 유형(사실적, 개념적, 절차적, 메타인지)에 초점하여 기존 피드백 분류의 세분화 부족 문제 해결하기.
• 자동화된 시스템에서 일반적 피드백과 개별화된 피드백을 구분하는 데 어려움이 있는지 조사하기.
• 초보자 프로그래머를 위한 자율 학습 환경에서 효과적으로 기여할 수 있도록, 현재 피드백 유형 체계의 한계를 보완하여 향후 교육 기술 설계 및 연구에 기여하기.

제안 방법

• Narciss의 정보 제공형 튜터링 피드백 이론적 프레임워크와 Keuning, Jeuring, Heeren가 정의한 하위유형을 적용하였다.
• CodingBat, Scratch, 그리고 Blockly의 100개 이상의 코딩 연습에서의 피드백 메시지에 대해 탐색적 내용 분석을 수행하였다.
• 피드백을 다섯 가지 주요 유형으로 분류: 작업 요구사항에 대한 지식, 개념, 실수, 진행 방법, 메타인지.
• 각 카테고리 내 하위유형을 식별하고, Anderson 등이 제시한 네 가지 지식 유형(사실적, 개념적, 절차적, 메타인지)과의 일치성을 평가하였다.
• 개인화 여부, 다중 피드백 유형 통합 여부, 다중 모odal 표현(예: 텍스트, 시각적 힌트)의 통합 여부를 평가하였다.
• 프로그래밍 전용 지식 요구사항을 더 잘 반영하기 위해 새로운 피드백 유형인 '사실에 대한 지식(KF)'과 '절차에 대한 지식(KP)'을 제안하였다.

실험 결과

연구 질문

• RQ1 CodingBat, Scratch, 그리고 Blockly의 온라인 코딩 연습에서 실제로 구현된 정보 제공형 튜터링 피드백의 유형은 무엇인가?
• RQ2 이론적 피드백 유형과 하위유형이 실제 플랫폼의 피드백 구현과 얼마나 일치하는가?
• RQ3 피드백 메시지가 여러 피드백 유형을 어떻게 통합하는가? 이는 학습자 이해에 어떤 영향을 미치는가?
• RQ4 프로그래밍 지식의 다양한 유형(사실적, 개념적, 절차적, 메타인지)을 피드백이 체계적으로 반영하지 못하는 격차는 존재하는가?
• RQ5 초보자 프로그래머가 자율 학습 환경에서 효과적으로 학습할 수 있도록 피드백 유형 체계를 어떻게 개선할 수 있는가?

주요 결과

• 온라인 코딩 도구의 피드백은 종종 여러 유형을 한 번의 메시지에 혼합하여 이론적 카테고리에 매핑하기 어려운 경우가 빈번하다.
• 이론적 피드백 유형 체계는 효과성과 설계에서의 차이에도 불구하고, 일반적 피드백과 개인화된 피드백을 구분하지 못한다.
• 기존 피드백 카테고리들은 프로그래밍 교육에서 필수적인 네 가지 지식 유형(사실적, 개념적, 절차적, 메타인지)을 충분히 세분화하여 반영하지 못하고 있다.
• 이 연구는 프로그래밍 전용 인지적 요구사항을 더 잘 반영하기 위해 '사실에 대한 지식(KF)'과 '절차에 대한 지식(KP)'라는 새로운 피드백 유형의 도입이 필요하다고 규명하였다.
• 메타인지 지식을 명시적으로 다루지 못하는 피드백 메시지가 많지만, 이는 문제 해결과 자기조절 학습에서 중요하다.
• 다중 모달 피드백(예: 텍스트, 시각적 힌트)의 통합은 여전히 활용도가 낮고, 현재의 피드백 유형 체계에서는 체계적으로 분류되어 있지 않다.