[論文レビュー] An Exploratory Analysis of Feedback Types Used in Online Coding Exercises

Natalie Kiesler|arXiv (Cornell University)|Jun 7, 2022

Online Learning and Analytics被引用数 4

ひとこと要約

本研究では、CodingBat、Scratch、Blocklyのオンラインコーディング演習から得られるフィードバックの種類を、Narcissの指導的フィードバック枠組みとKeuningらのサブタイプを用いて分析した。その結果、フィードバックはしばしば混合されており、一般的なフィードバックと個人化されたフィードバックの区別がつかず、プログラミング教育に不可欠な4つの知識タイプ（事実的、概念的、手順的、メタ認知的）を反映していないことが判明した。教育技術の設計において、より詳細なフィードバック分類体系の導入が求められる。

ABSTRACT

Online coding environments can help support computing students gain programming practice at their own pace. Especially informative feedback can be beneficial during such self-guided, independent study phases. This research aims at the identification of feedback types applied by CodingBat, Scratch and Blockly. Tutoring feedback as coined by Susanne Narciss along with the specification of subtypes by Keuning, Jeuring and Heeren constitute the theoretical basis. Accordingly, the five categories of elaborated feedback (knowledge about task requirements, knowledge about concepts, knowledge about mistakes, knowledge about how to proceed, and knowledge about meta-cognition) and their subtypes were utilized for the analysis of available feedback options. The study revealed difficulties in identifying clear-cut boundaries between feedback types, as the offered feedback usually integrates more than one type or subtype. Moreover, currently defined feedback types do not rigorously distinguish individualized and generic feedback. The lack of granularity is also evident in the absence of subtypes relating to the knowledge type of the task. The analysis thus has implications for the future design and investigation of applied tutoring feedback. It encourages future research on feedback types and their implementation in the context of programming exercises to define feedback types that match the demands of novice programmers.

研究の動機と目的

• CodingBat、Scratch、Blocklyのオンラインコーディング演習で使用されている情報提供型指導的フィードバックの種類を特定・分類すること。
• 理論的フィードバック分類体系とプログラミング教育ツールにおける実際のフィードバック実装との整合性を検討すること。
• 特にプログラミングに特有の関連性を持つ知識タイプ（事実的、概念的、手順的、メタ認知的）に関して、既存のフィードバック分類の粒度の不足を是正すること。
• 自動化システムにおける一般的なフィードバックと個別化されたフィードバックの区別に課される課題を調査すること。
• 初心者プログラマーの自己学習環境における支援を高めるために、現在のフィードバック分類体系の欠陥を明らかにし、今後の教育技術の設計と研究に示唆を提供すること。

提案手法

• Narcissの情報提供型指導的フィードバックの理論的枠組みと、Keuning, Jeuring, Heerenが定義したサブタイプを適用した。
• CodingBat、Scratch、Blocklyの100以上のコーディング演習から得られたフィードバックメッセージについて、探索的コンテンツ分析を実施した。
• フィードバックを5つの主要なタイプに分類した：タスク要件に関する知識、概念、誤り、次に進む方法、メタ認知。
• 各カテゴリ内でのサブタイプを特定し、Anderson らが提唱する4つの知識タイプ（事実的、概念的、手順的、メタ認知的）との整合性を評価した。
• パーソナライズの兆候、複数のフィードバックタイプの統合、マルチモーダル表現の有無を評価した。
• プログラミングに特化した認知的要請をよりよく反映するため、新たなフィードバックタイプ（事実に関する知識（KF）、手順に関する知識（KP））の提案を行った。

実験結果

リサーチクエスチョン

• RQ1 CodingBat、Scratch、Blocklyのオンラインコーディング演習で実際に実装されている情報提供型指導的フィードバックの種類は何か？
• RQ2 理論的フィードバックタイプとサブタイプが、これらのプラットフォームにおける現実のフィードバック実装とどの程度整合しているか？
• RQ3 フィードバックメッセージはどのようにして複数のフィードバックタイプを統合しているのか？その影響は学習者の理解にどのような意味を持つのか？
• RQ4 プログラミング知識の異なるタイプ（事実的、概念的、手順的、メタ認知的）をフィードバックがどのように表現しているかに、体系的な欠落は存在するか？
• RQ5 初心者プログラマーが自己学習環境で効果的に学べるよう支援するためには、どのようにフィードバック分類体系を洗練させられるか？

主な発見

• オンラインコーディングツールにおけるフィードバックは、しばしば複数のタイプが1つのメッセージに混合されており、理論的カテゴリーへのマッピングが困難である。
• 理論的フィードバック分類体系は、一般的なフィードバックと個別化されたフィードバックの違いを明確に区別していないが、その有効性や設計上の違いは顕著である。
• 既存のフィードバックカテゴリーは、プログラミング教育に不可欠な4つの知識タイプ（事実的、概念的、手順的、メタ認知的）を十分に粒度をもって表現できていない。
• 本研究では、プログラミングに特化した認知的要請をよりよく反映するため、新たなフィードバックタイプ「事実に関する知識（KF）」と「手順に関する知識（KP）」の導入が求められることが判明した。
• メタ認知的知識を明示的に扱わないフィードバックメッセージが多いため、問題解決や自己制御学習においてその重要性が十分に反映されていない。
• 視覚的ヒントを含むマルチモーダルフィードバックの統合は、未だに活用が不十分であり、現在のフィードバック分類体系では体系的に分類されていない。