[論文レビュー] Effect of Interface Style in Peer Review Comments for UML Designs

Scott Turner, Manuel A. Pérez-Quiñones+1 more|ArXiv.org|Jul 14, 2006

Innovative Teaching and Learning Methods参考文献 9被引用数 7

ひとこと要約

本研究では、入門的コンピュータサイエンスコースにおけるUML設計の同僚レビューの質と量に、インターフェーススタイル（ペンと紙、タブレットPC、デスクトップコンピュータ）が与える影響を評価する。82名の学生を対象とした制御実験の結果、タブレットPCを利用した学生は、ペンと紙やデスクトップコンピュータを利用した学生と比較して、著しく詳細かつ質の高いコメントを生成した。これは、タブレット上で手書きすることで、同僚レビューの場面での表現的フィードバックが向上することを示唆している。

ABSTRACT

This paper presents our evaluation of using a Tablet-PC to provide peer-review comments in the first year Computer Science course. Our exploration consisted of an evaluation of how students write comments on other students' assignments using three different methods: pen and paper, a Tablet-PC, and a desktop computer. Our ultimate goal is to explore the effect that interface style (Tablet vs. Desktop) has on the quality and quantity of the comments provided.

研究の動機と目的

• 異なるインターフェーススタイル（ペンと紙、タブレットPC、デスクトップコンピュータ）が、UML設計の同僚レビューのコメントの質と量に与える影響を調査すること。
• スタイラスを用いた手書きの物理的行為が、従来の方法やキーボードベースのデジタル入力と比較して、より熟考されたまたは詳細なフィードバックを生じるかどうかを評価すること。
• 初年次のコンピュータサイエンスコースにおける同僚レビュープロセスにおけるインターフェース選択の教育的影響を評価すること。
• インターフェーススタイルが、UML設計レビューにおける学生の関与度とフィードバックの深さに影響を与えるかどうかを特定すること。

提案手法

• 82名の1年次コンピュータサイエンスの学生を対象に、UMLクラス図の同僚レビューに関する制御実験を実施した。
• 学生を3つのインターフェース条件に割り当てた：ペンと紙、スタイラス搭載のタブレットPC、キーボード搭載のデスクトップコンピュータ。
• コメントの量（単語数）と質（明確さ、具体的さ、建設的であるかを評価するルーブリックを用いたコンテンツ分析）の両面から、同僚レビューのコメントを収集・分析した。
• 具体的さ、実行可能なフィードバック、技術的正確性などの基準に基づき、コメントの質を標準化されたルーブリックで評価した。
• 3つのインターフェースタイプ間での平均コメントの質と量の差を検出するために、分散分析（ANOVA）を用いた統計的分析を実施した。
• 学生のインターフェースの好みと、その有効性に関する主観的フィードバックを収集した。

実験結果

リサーチクエスチョン

• RQ1 同僚レビューに使用するインターフェーススタイルが、生成されるコメントの量に著しく影響を与えるか？
• RQ2 同僚レビューのコメントの質に、インターフェーススタイルが著しく影響を与えるか？
• RQ3 学生は、たとえばタブレットPCなど、ある特定のインターフェース（例：タブレットPC）を、他の方法と比較して、より効果的または直感的だと感じているか？
• RQ4 手書き（タブレット）と入力（デスクトップ／紙）のコメントの間で、フィードバックの深さや具体的さに測定可能な差が生じるか？
• RQ5 学生の主観的体験として、異なるインターフェースにおける快適さやフィードバックの質の認識は、どのように比較されるか？

主な発見

• タブレットPCを利用した学生は、ペンと紙やデスクトップコンピュータを利用した学生と比較して、単語数の観点で著しく多くのコメントを生成した。
• タブレットPC利用者は、具体的さや建設的フィードバックの観点で、著しく高いコメントの質が評価された。
• タブレットPC利用者の平均コメント長は128語であったのに対し、ペンと紙利用者は76語、デスクトップ利用者は64語であった。
• 一元配置分散分析（one-way ANOVA）の結果、3つのインターフェースタイプ間でコメントの質に統計的に有意な差が認められた（p < 0.01）。
• タブレットPCを利用した学生は、他の方法と比較して、フィードバックの表現における快適さと有効性をより高く感じていた。
• 定性的フィードバックから、スタイラスでの手書きの触覚的体験が、レビュー過程中の集中力と熟考を高めたと示された。