[論文レビュー] Social Reader Perusall -- a Highly Effective Tool and Source of Formative Assessment Data

Jozef Hanč, Martina Hančová+1 more|arXiv (Cornell University)|Aug 14, 2023

Online Learning and AnalyticsComputer Science被引用数 3

ひとこと要約

本論文は、AIを活用したソーシャルアノテーションプラットフォームPerusallが、STEM教育における形成的評価および能動的学習のための変革的ツールとしてどのように機能するかを評価している。非同期的で協働的なデジタル教材のアノテーションを可能にし、詳細な分析データを生成することで、Perusallは学生の関与を高め、個別化された指導を支援し、混合型およびフラップドクラスルームにおいて学習成果を顕著に向上させる。特にパンデミック期において顕著である。

ABSTRACT

The contribution provides a detailed exploration of the online platform Perusall as an advanced social annotation technology in teaching and learning STEM disciplines. This exploration is based on the authors' insights and experiences from three years of implementing Perusall at P.J. Šafárik University in Košice, Slovakia. While the concept of social annotation technology and its educational applications are not novel, Perusall's advanced features, including AI and data science reports, enable its use in both synchronous and asynchronous blended and flipped learning environments. In this context, Perusall serves as a digital tool for collecting formative data, monitoring student progress, and identifying areas of difficulty. This assessment data can be effectively utilized in preparing and personalizing subsequent face-to-face group interactions, thereby enhancing and improving the learning experience. From a pedagogical viewpoint, Perusall's role was particularly significant during the Covid-19 pandemic, enabling effective, continuous, and engaging learning amidst social distancing and physical restrictions. Today, Perusall has become a key tool in blended learning, facilitating higher-order cognitive processes during the educational process and, with its multifaceted applications, serves as a modern catalyst in redefining educational experiences and outcomes.

研究の動機と目的

• PerusallがSTEM教育における学生の関与および形成的評価を向上させるソーシャルアノテーションツールとしての有効性を評価すること。
• 自動化されたデータ収集および分析を通じて、Perusallが混合型およびフラップドラーニングモデルをどのように支援するかを検討すること。
• Covid-19パンデミック期における教育の継続性を維持する役割を明らかにすること。
• データサイエンスツール（Python、Pandas、Selenium）を統合して、学生のアノテーションデータの自動処理および可視化を実現すること。
• 学生の誤解や活動パターンを特定することで、対面授業の準備にPerusallがどのように役立つかを評価すること。

提案手法

• 著者らは2020年から2022年まで、スロバキアのコシツェに所在するP.J. Šafárik大学の複数のSTEMコースにおいてPerusallを導入し、デジタルコンテンツの非同期的で協働的なアノテーションに使用した。
• 学生のアノテーション（コメントおよび質問）は、Python、Pandas、Seleniumを用いてカスタム化されたJupyterノートブックを活用して自動抽出・処理された。
• ボックスプロットおよびスワームプロットを用いたデータ可視化技術により、学生の活動、関与度、およびタイプ（コメント対質問）ごとのアノテーションの分布が表現された。
• プラットフォームが提供するAI駆動の分析データにより、学生の理解度に関する洞察が得られ、重要度の高いディスカッションスレッドや問題のあるコンテンツ領域が特定された。
• チームはPerusallを、ピアインstruct、実験準備、科学コンテストトレーニングなど多様な教育的文脈で使用した。
• オープンソースのデータサイエンスツールを活用することで、データ分析ワークフローの再現可能性および拡張性を確保した。

Figure 1: A view of the online platform Perusall during the Perusall Exchange 2022 conference. At the top, we see the types of contributions [ 1 ] , and at the bottom, we see a conference contribution in the form of a poster [ 6 ] .

実験結果

リサーチクエスチョン

• RQ1 Perusallは、混合型およびフラップドSTEM学習環境において、どのように形成的評価を支援するか？
• RQ2 Perusallは、非同期オンライン学習環境において、学生の関与および協働をどの程度高めるか？
• RQ3 学生のアノテーションから得られる自動分析データは、対面授業の計画と改善にどのように活用できるか？
• RQ4 Covid-19パンデミック期において、Perusallは教育の継続性を維持するためにどのような役割を果たしたか？
• RQ5 協働的アノテーションを通じて、Perusallは科学実験および学術競技会の準備において、学生の学習をどの程度効果的に支援できるか？

主な発見

• Perusallは、デジタルコンテンツの非同期的で協働的なアノテーションを可能にすることで、学生の関与を顕著に向上させた。2022年のPerusallエクスチェンジに2,000人を超える参加者が関与した。
• AI駆動の分析機能により、実行可能な形成的評価データが生成され、教員が学生の誤解を特定し、対面授業での内容の優先順位を決定するのを支援した。
• Python、Pandas、Seleniumを用いたカスタムデータパイプラインにより、ミリ秒単位でのリアルタイム処理と可視化が実現され、人的作業負荷が大幅に削減された。
• ボックスプロットおよびスワームプロットは、異なるコンテンツタイプごとのコメントと質問の分布パターンを効果的に可視化した。
• パンデミック期において、Perusallは物理的距離や機関の制限にもかかわらず、継続的でインタラクティブで魅力的な学習を可能にした。
• プラットフォームは、ピアインstruct、実験準備、科学コンテストトレーニングなど多様な教育的応用をサポートし、広範な教育的多様性を示した。

Figure 2: Perusall as a modern digital educational technology combining three digital technologies.