[論文レビュー] Toward Motivating Participants to Assess Peers' Work More Fairly: Taking Programing Language Learning as an Example.

Yanqing Wang, Wenguo Ai+2 more|arXiv (Cornell University)|May 6, 2015

Student Assessment and Feedback参考文献 21被引用数 8

ひとこと要約

本稿では、レビューのずれと極端さ（radicalness）を用いた動機付けモデルを提案し、EduPCR4システムに実装することで、必要に応じて教員の仲裁を引き起こす仕組みを構築した。C言語プログラミングコースにおいて、このモデルは一貫性のない評価を特定・是正することで、同伴評価の信頼性と公平性を向上させた。

ABSTRACT

Peer assessment is an efficient and effective learning assessment method that has been used widely in diverse fields in higher education. Despite its many benefits, a fundamental problem in peer assessment is that participants lack the motivation to assess others’ work faithfully and fairly. Nonconsensus is a common challenge that makes the reliability of peer assessment a primary concern in practices. This research proposes a motivation model that uses review deviation and radicalness to identify nonconsensus in peer assessment. The proposed model is implemented as a software module in a peer code review system called EduPCR4. EduPCR4 is able to monitor peer assessment results and trigger teacher’s arbitration when it detects possible nonconsensus. An empirical study conducted in a university-level C programing course showed that the proposed model and its implementation helped to improve the peer assessment practices in many aspects.

研究の動機と目的

• 同伴評価に参加する者の動機付けの欠如が、公平性と信頼性を損なうという問題に対処すること。
• 高等教育における同伴評価の信頼性に影響を与える主要な課題として、同伴評価における非一貫性（nonconsensus）を特定すること。
• 一貫性のない、または極端なレビューを検出するモデルを開発し、評価の質を向上させること。
• 非一貫性が検出された際に教員の干渉を可能にするソフトウェアモジュールを実装・評価すること。
• 自動監視およびフィードバックメカニズムを通じて、プログラミング教育における同伴評価の公平性と信頼性を向上させること。

提案手法

• モデルは、同伴の評価と、同じ作品に対する平均評価との間の統計的距離を、レビューのずれ（review deviation）として定義する。
• 極端さ（radicalness）は、他の同伴の合意に比べて、レビューがどれほど極端または逸脱しているかを測定する。
• しきい値に基づく検出メカニズムが、レビューのずれまたは極端さが事前に定めた限界を超えた場合にアラートを発動する。
• システムは、EduPCR4という同伴コードレビュー・プラットフォームにこのモデルを統合し、リアルタイムで評価を監視する。
• 非一貫性が検出された場合、システムは教員に通知し、仲裁を促す。
• 実データを用いて、大学のC言語プログラミングコースから得たデータを用いて、モデルのキャリブレーションと妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 レビューのずれと極端さを用いた場合、同伴評価における非一貫性はどのように効果的に検出可能か？
• RQ2 提案されたモデルは、プログラミングコースにおける同伴評価の公平性と一貫性をどの程度向上させるか？
• RQ3 非一貫性の自動検出は、教員の干渉行動と評価の信頼性にどのように影響を与えるか？
• RQ4 このモデルは、参加者の同伴評価に対する誠実な評価行動の動機付けにどのような影響を与えるか？

主な発見

• モデルは、レビューのずれと極端さの指標を分析することで、同伴評価における非一貫性を効果的に検出できた。
• 高いずれや極端さが検出された場合、教員による仲裁が行われ、評価の一貫性が向上した。
• EduPCR4への実装により、C言語プログラミングコースにおける同伴評価の結果がより信頼性があり、公平性が向上した。
• 非一貫性がフラグ付きで特定され、是正された際、参加者は評価基準への適合をより強く意識した。
• システムの自動監視機能により、教員の負担が軽減されつつ、同伴フィードバックの質が向上した。
• 実証的結果から、このモデルがプログラミング教育における信頼性の高い同伴評価の実践に寄与することが示された。